Käeliigutuste tuvastamine ja jälgimine videosalvestistes

Date

2013

Journal Title

Journal ISSN

Volume Title

Publisher

Tartu Ülikool

Abstract

Antud lõputöö eesmärgiks oli kirjeldada erinevaid meetodeid objektide jälgimiseks videosalvestistes ning luua tööriist automaatseks käeliigutuste annoteerimiseks. Videosalvestiste annoteerimine on oluline vahend inimestevahelise suhtluse uurimiseks. Käsitsi annotatsioonide tegemine on aeganõudev ning seega on oluline uurida võimalusi automatiseeritud vahendite loomiseks. Loodud tööriist kasutab CAMShift jälgimisalgoritmi ning on realiseeritud lisamoodulina programmile ANVIL. ANVIL on vabavaraline vahend annotatsioonide loomiseks. Tööriist suudab jälgida käsi ja värvilisi objekte ning tuvastada liigutusi videovestlustes. Algne käepiirkonna või muu objekti videost ülesleidmine ja ära märkimine on jäetud kasutaja hooleks. Liigutused annoteeritakse automaatselt ning info liigutuse alg- ning lõpppunkti ja keskmise kiiruse kohta kirjutatakse ANVIL'i annotatsioonifaili. Loodud tööriista testiti videosalvestiste peal kahe inimese vahelisest suhtlusest ning kasutati käte ning muude värviliste objektide jälgimiseks. Jälgimise ja liigutuste tuvastamise täpsus sõltus videokvaliteedist ning kasutaja poolt määratud sätetest (näiteks minimaalne arvestatav värviküllastus). Kokkuvõtteks võib öelda, et loodud tööriist täidab seatud eesmärke, kuid on ruumi täiendusteks. Näiteks võiks lisada võimalused automaatseks käepiirkondade leidmiseks videos ning liigutuste analüüsimiseks ja eri kategooriatesse jagamiseks. Sellised täiendused vähendaksid veel rohkem kasutaja tööd.
The goal of this thesis was to describe various object tracking methods and to create a tool for automatic gesture annotation. Annotation of video data is an important prerequisite for human communication studies, but doing this manually is time and resource consuming. It is thus important to study automatic tools for annotation. The tool implements an object tracking algorithm known as CAMShift and is used as a plugin for the ANVIL annotation software. The tool is able to track hands and other colored objects in a video and detect movements, the inital detection of the hand is left to the user. The movements are automatically annotated by writing the start and end point of the movement and average velocity to a specified annotation track in ANVIL. The tool was tested on recordings of actual dialogues and used to track both bare hands and colored objects. The tracking and movement detection precision depends on the quality of the video being used and on the user specified settings. All in all the created tool meets the goal of the thesis as it is able to automatically track and annotate gestures in recorded video conversations. However, adding functionality to automatically detect hands in a video frame without user intervention and classify gestures based on collected movement data would further reduce the need for user input during the annotation process.

Description

Keywords

Citation