Gaze Assisted Neural Network based Prediction of End-Point of Human Reaching Trajectories
Date
2020
Authors
Journal Title
Journal ISSN
Volume Title
Publisher
Tartu Ülikool
Abstract
One of the key problems in human-robot collaboration is the prediction of the end-point
of the human-reaching trajectory. Such predictions are essential for example to predict the
human-robot hand-over locations in a collaborative manufacturing task. This thesis proposes
a data-driven approach for end-point prediction. The key intuition behind the thesis is
that human gaze encodes a significant amount of information regarding the end-point the
human is trying to reach. On this intuition, we built three neural network models that
leverage gaze information and trajectory of the hand motion for high fidelity prediction of the
end-point of the reaching trajectory. Furthermore, the thesis also contributes in developing
a robust experimental set-up for data collection that uses concepts from robotics and computer
vision for creating annotated examples of hand trajectory, gaze and trajectory end-point.
In estonian: Inimese ja roboti vahelise koostöö üks peamisi probleeme on inimese liigutuste
trajektoori lõpp-punkti ennustamine. Sellised ennustused on hädavajalikud näiteks
selleks, et ette arvata inimese ja roboti vahelist üleandmiskohta ühise tootmisülesande
täitmisel. Antud lõputöö pakub välja andmepõhise lähenemisviisi
lõpp-punkti ennustamiseks. Lõputöö alustalaks on see, et inimese pilk annab
märkimisväärses koguses teavet selle kohta, mis liigutusi ta tegema hakkab ning
kus on nende liigutuste lõpp-punkt. Selle põhjal lõime kolm närvivõrgu mudelit,
mis kasutavad infot inimese pilgu ning käe liikumise trajektoori kohta, et ennustada
haaramistrajektoori lõpp-punkt. Lisaks annab antud lõputöö oma panuse
eksperimentaalse andmekogumise meetodi välja töötamisel, mis kasutab robootikas
ja reaalnägemises varem kasutatud kontseptsioone, et luua näiteid käetrajektoori,
pilgu ning trajektoori lõpp-punkti kohta.
Description
Keywords
Neural Network, Multi-Layer Perceptron, Human Gaze, Reaching Trajectory, närvivõrk, Mitmekihiline perceptroon, Inimese pilk, Trajektoori jõudmine