Kontroler Asus Xtion Pro jest doskonałym narzędziem pozwalającym na sterowanie za pomocą głębii i ruchów szieletu. W naszym projekcie połączyliśmy możliwości x-tion pro z funkcjonalnościami biblioteki NXT++, pozwalającej na semi-autonomiczne sterowania robotami Mindstorms NXT. Do podstawowego sterowania stosujemy śledzenie ruchu dłoni względem barków.  Całość została napisana w C++ z użyciem OpenNi, Nite2 oraz NXT++.

Pierwszy etap projektu został zakończony. Stworzyliśmy 3 rodzaje sterowania – od bardzo prostego w dwóch wymiarach, kończąc na sterowaniu trójwymiarowym. Praca na ten temat niebawem zostanie zaprezentowana w formie publikacji.

Demonstrację projektu można zobaczyć pod adresem

Kod źrodłowy pierwotnej wersji naszego projektu, jest dostępny pod adresem https://github.com/kwiateusz/NxtControl

Obecny kod źródłowy dostępny jest pod adresem https://github.com/nkruwm/nxt-xtion

Głównymi tworcami projektu są: Michał Kwiatek, Łukasz Żmudziński oraz Adam Augustyniak.
Projekt został opublikowany w czasopiśmie Technical Sciences. Link http://uwm.edu.pl/wnt/technicalsc/accepted/art172.pdf

Rozszerzeniem projektu jest sterowanie gestami, robotem roomba, z poziomu C++. Niebawem umieścimy kod projektu na github’ie.

Film demonstrujący sterowanie jest poniżej.

Projekt w zademonstrowanej postaci został wykonany przez Przemysława Gogolewskiego.

Kolejnym rozszerzeniem projektu było połączenie oprogramowania Nao i Xtion Pro. Efekty pracy są poniżej.

W widoczną na filmie wersję projektu zaangażowany był Paweł Garus.