Käeliigutuste tuvastamine ja jälgimine videosalvestistes

Abstract

Antud bakalaureusetöö kirjeldab mõningaid meetodeid objektide jälgimiseks videosalvestistes ning värvipõhise jälgimisalgoritmi CAMShift realisatsiooni. Algoritm on realiseeritud lisamoodulina annoteerimisvahendile ANVIL. Loodud tööriist suudab jälgida käsi ning muid värvilisi objekte ning automaatselt tuvastada liigutusi videosalvestistes. Liigutused annoteeritakse automaatselt ning info liigutuse alg- ning lõpppunkti, keskmise kiiruse ning läbitud teekonna kohta kirjutatakse ANVIL'i annotatsioonifaili. Tööriista testiti videosalvestiste peal kahe inimese vahelisest suhtlusest ning tulemusi võrreldi käsitsi tehtud annotatsioonidega. Tulemuste hindamisel selgus, et tööriistaga tehtud annotatsioonid ei ole piisavalt täpsed, et neid saaks kasutada käsitsi tehtud annotatsioonide asemel. Tulemused on siiski piisavalt täpsed, et neid kasutada baasina käeliigutuste tuvastamiseks. Seega on valminud tööriist mõeldud pigem manuaalse annoteerimisprotsessi lihtsustamiseks ning kiirendamiseks.

This thesis describes some of the more common techniques for object tracking and an implementation of the colour-based tracking algorithm known as CAMShift. The algorithm is implemented as part of a simple object tracking plug-in for the video annotation tool ANVIL. The tracker can be used to automatically annotate hand gestures or the movements of any object that is distinguishable from its background. The plug-in records velocity, duration and total travel distance of hand gestures and outputs the recorded data to an annotation file. The tracker was tested on real recordings of dialogues and the results were compared to manually created annotations for hand gestures. Testing and evaluation revealed that data recorded by the tracker is not accurate enough to provide a complete alternative to manual annotation, but could rather be used as a basis for determining where hand gestures can be detected. Thus using the tracker in combination with a human annotator could significantly speed up the annotation process.