Upravljanje kvadrokopterja z gestami

Kvadrokopterji postajajo vse bolj priljubljeni in integrirani v današnjo družbo. Zmožni so visoko resolucijskega snemanja in avtonomnega navigiranja pri vrtoglavih hitrostih, navdušijo pa tudi kot vsakodnevna igrača. Kvadrokopterje je potrebno tudi nadzirati, za kar večinoma uporabljamo mobilne telefone. V tem delu smo razvili sistem za nadzor kvadrokopterja z gestami. Naš cilj je bil razviti sistem, ki bi se lahko izvajal na nizkocenovnem kvadrokopterju, ki je opremljen le z barvno kamero in zmogljivim vgrajenim računalnikom. Tak kvadrokopter smo tudi sestavili. Sistem je razdeljen v tri module - detekcija akcije z optičnim tokom, ocena človeške poze s konvolucijskimi nevronskimi mrežami ter klasifikacija geste z relacijskimi značilkami osnovanimi na človeški pozi. Integrirani sistem za nadzor kvadrokopterja z gestami smo implementirali s pomočjo knjižnice OpenCV in meta operacijskega sistema ROS. V namen razvoja in evalvacije sistema smo sestavili svojo bazo slik DS2017, v kateri je skupno 640 gest, ki jih je izvedlo 20 ljudi. V evalvaciji pokažemo, da sistem doseže zadovoljivo točnost pri detekciji akcij ter da hitro in natančno detektira človeško pozo in odlično klasificira detektirane geste.