Žestidel baseeruv kasutajaliides Kinect Sensoriga

Abstract

Käesoleva töö eesmargiks on puutevaba kasutajaliidese loomine Kinect sensori alusel. Töö põhimõtte seisneb selles et eemaldada kasutaja ja arvuti vahelisest suhtlusest klaviatuuri, hiirt ja muid mehaanilisi lüliteid võimaldades juhtida arvutit vaid käeliigutustega. Töö tulemuseks on väljatöötatud kolm tarkvara rakendust. Esimise programmi ettemääratus seisneb selles et juhtida Windows Operatsioon Süsteemi Töölaua kasutades vaid käeliigutusi (ehk zeste). Süsteemil on olemas (ettenähtud) erireziim presentatsiooni juhtimiseks. Teine programm on loodud puhtalt teaduslike eesmärkidega et võimaldada inimkeha luukere liigeste koordinaatide salvestamist reaalajas. Kolmas programm võimaldab juhtida "Pioneer"-roboti ja manipulaatori käeliigutuste abil. Töö kuulub inimese ja masina vahelisse koostoime alale ja võib leida oma rakendust sellistel aladel, kus mehaaniliste lülitite peal baseeruva liidese kasutamine on võimatu või raskendatud (näiteks, kirurgiline meditsiin, kus arsti kindad peavad olema steriilsed).

Present research targets development and implementation of the clickless interface on the basis of Kinect Sensor. The idea behind this work is to allow user to explore full functionality of Windows PC equipped with Kinect sensor, using just gestures and eliminating necessity to use any mechanical devices such as mouse or keyboard. Main result of the work are three standalone applications. First implements clickless interface to control Windows Desktop. Second application has purely scientific role and allows to acquire key coordinates of the human skeleton joints in real-time. Third application implements gesture based control of the Pioneer robot with robotic arm. Results of present research belong to the area of human-machine interaction and may found their applications in such areas where usage of mechanical interface elements may be impossible or complicated, for example surgical medicine, where surgeon gloves should be sterile.