Inimese asendamine avatariga kasutades poosituvastust - interaktiivne peegel

Abstract

Computer vision has rapidly evolved into a field that nowadays enables precise tracking of human body pose through a webcam in real-time. This thesis presents an interactive system that replaces a person in a webcam's field of view with a 3D avatar in real-time. While pose estimation has been widely used for avatar animation, the mixed reality approach implemented here – completely removing a person from the original frame and replacing them with an avatar – remains a challenging domain. Similar solutions have been developed for mobile devices, but their main limitation is insufficient performance due to weak hardware. The current system is designed to operate on computers with dedicated graphics cards, achieving efficient real-time performance. Testing conducted at the University of Tartu's Delta Centre confirmed the system's educational and expositional value, with users positively rating its quality. Tehisnägemine on kiiresti arenenud valdkond, mis tänapäeval võimaldab muuhulgas veebikaamera kaudu täpselt jälgida inimese poosi reaalajas. Käesoleva lõputööga loodi interaktiivne süsteem, mis reaalajas asendab veebikaamera vaateväljas oleva inimese 3D avatariga. Kuigi poosituvastust on laialdaselt kasutatud avatari animeerimiseks, on siin rakendatud segareaalsuslik lähenemine – inimese täielik eemaldamine originaalkaadrist ja tema asendamine avatariga – endiselt katsumusterohke valdkond. Sarnaseid lahendusi on arendatud mobiilseadmetele, kuid nende peamiseks piiranguks on nõrgast riistvarast tulenev ebapiisav jõudlus. Käesolev süsteem on loodud töötama videokaardiga arvuti peal, saavutades tõhusa reaalajalise jõudluse. Tartu Ülikooli Delta õppehoones läbi viidud testimine kinnitas süsteemi hariduslikku ja ekspositsioonilist väärtust ning selle kvaliteeti hinnati positiivselt.