Gaze Assisted Neural Network based Prediction of End-Point of Human Reaching Trajectories

Abstract

One of the key problems in human-robot collaboration is the prediction of the end-point of the human-reaching trajectory. Such predictions are essential for example to predict the human-robot hand-over locations in a collaborative manufacturing task. This thesis proposes a data-driven approach for end-point prediction. The key intuition behind the thesis is that human gaze encodes a significant amount of information regarding the end-point the human is trying to reach. On this intuition, we built three neural network models that leverage gaze information and trajectory of the hand motion for high fidelity prediction of the end-point of the reaching trajectory. Furthermore, the thesis also contributes in developing a robust experimental set-up for data collection that uses concepts from robotics and computer vision for creating annotated examples of hand trajectory, gaze and trajectory end-point. In estonian: Inimese ja roboti vahelise koostöö üks peamisi probleeme on inimese liigutuste trajektoori lõpp-punkti ennustamine. Sellised ennustused on hädavajalikud näiteks selleks, et ette arvata inimese ja roboti vahelist üleandmiskohta ühise tootmisülesande täitmisel. Antud lõputöö pakub välja andmepõhise lähenemisviisi lõpp-punkti ennustamiseks. Lõputöö alustalaks on see, et inimese pilk annab märkimisväärses koguses teavet selle kohta, mis liigutusi ta tegema hakkab ning kus on nende liigutuste lõpp-punkt. Selle põhjal lõime kolm närvivõrgu mudelit, mis kasutavad infot inimese pilgu ning käe liikumise trajektoori kohta, et ennustada haaramistrajektoori lõpp-punkt. Lisaks annab antud lõputöö oma panuse eksperimentaalse andmekogumise meetodi välja töötamisel, mis kasutab robootikas ja reaalnägemises varem kasutatud kontseptsioone, et luua näiteid käetrajektoori, pilgu ning trajektoori lõpp-punkti kohta.