Human-centered autonomous drone systems

Abstract

Autonoomsed droonid, teenindusrobotid ja mehitamata sõidukid on üha enam muutumas igapäevase keskkonna osaks, leides rakendust näiteks pakkide kohaletoimetamisel, põllumajanduses ja keskkonnaseires. Kuna need süsteemid muutuvad üha võimekamaks iseseisvalt tajumises, navigeerimises ja tegutsemises, puutuvad nad ka inimestega üha tihedamalt kokku. Teadusuuringud on aga seni keskendunud peamiselt autonoomsete süsteemide tehnilise võimekuse parandamisele, pöörates vähem tähelepanu sellele, kuidas inimesed neid tajuvad ja nendega interakteeruvad. Käesolevas lõputöös uuritakse, kuidas inimkesksed lähenemised saavad toetada autonoomsete droonide arendamist ja kasutuselevõttu, keskendudes kolmele etapile: enne kasutuselevõttu, kasutuselevõtu ajal ja pärast kasutuselevõttu. Selleks püstitatakse uurimisküsimus: kuidas hinnata kuidas inimesed tajuvad autonoomseid droone juba nende kasutuselevõtmise eelselt, ning kuidas hõlbustada inimeste interaktsioone nende droonidega? Uurimisküsimuse lahendamiseks käsitletakse kolme peamist väljakutset: inimeste tajude hindamine enne droonide füüsilist kasutuselevõttu, loomuliku suhtluse võimaldamine kasutuselevõtu ajal ning inimeste ja droonide koostöö toetamine pärast kasutuselevõttu. Nende väljakutsete lahendamiseks pakutakse välja kolm inimkeskset lähenemist. Esiteks võimaldab SHOWTIME hinnata inimeste taju droonide käitumise suhtes enne droonide tegelikku kasutuselevõttu, kasutades selleks generatiivsed simulatsioone ja pervasiivsed kuvarid, mille abil saab simuleeritud droonikäitumist näidata realistlikus keskkonnas, kiirendades ja hõlbustades selle uurimist, kuidas inimesed droone tajuvad, seejuures kasutamata füüsilisi droone. Teiseks teeb AgrI-BoT droonidega suhtlemise loomulikumaks, kombineerides vestluspõhised suured keelemudelid (LLM) ja servtöötluse. Põllumajandusseire näitel võimaldab süsteem kasutajatel anda droonidele korraldusi ja nendega suhelda loomulikus keeles. Kolmandaks toetab Pervasive Chatbots inimeste ja autonoomsete droonide vahelist koostööd pärast kasutuselevõttu, võimaldades operaatoritel ja teistel seadmekasutajatel suhelda droonidega eri seadmetes paiknevate vestlusliideste kaudu. Need kolm lahendust näitavad, kuidas inimkesksust saab arvestada autonoomsete droonide igas kasutuselevõtu etapis. Need võimaldavad hinnata inimeste taju enne droonide reaalset kasutuselevõttu, toetavad loomulikumat suhtlust droonide kasutuselevõtu ajal ning võimaldavad jätkuvat hõlpsat koostööd ka pärast kasutuselevõttu. Töö aitab kaasa autonoomsete droonisüsteemide arendamisele, mis on lisaks arenevale tehnilisele võimekusele ka ohutumad, inimestele paremini mõistetavad ning lihtsamini kasutatavad ja aktsepteeritavad.

Autonomous drones, service robots, and unmanned vehicles are increasingly becoming part of everyday environments, supporting applications such as package delivery, agriculture, and environmental monitoring. As these systems become more capable of sensing, navigating, and operating on their own, they are also interacting more closely with people. However, research has largely focused on improving technical performance, with less attention to how people experience autonomous systems and how they can interact with them effectively. This thesis investigates how human-centered approaches can support the design and deployment of autonomous drones, focusing on three stages of deployment: before, during, and after the drone enters a real-world environment. Given the need to understand and support human interaction with autonomous drones, the core research question of this thesis is: How can we evaluate how people perceive autonomous drones before they are deployed, and how can people interact with these drones effectively? To explore this question, three main challenges are addressed: evaluating how people respond to autonomous drones before physical deployment, enabling natural interaction during deployment, and supporting interaction after deployment. Based on these challenges, we propose three human-centered approaches. First, SHOWTIME enables people to evaluate drone behavior before physical deployment by combining generative simulations with pervasive displays that place simulated drone behavior into real-world environments. This provides a faster and more practical way to study human perception without operating physical drones. Second, AgrI-BoT enables more natural interaction with drones during deployment by combining conversational interaction with large language models and edge computing. Demonstrated through an agricultural scouting case study, it allows users to communicate with drones using natural language. Third, Pervasive Chatbots supports interaction after deployment by allowing human operators and other device users to collaborate with autonomous drones through conversational interfaces distributed across multiple devices. Together, these contributions demonstrate how human-centered approaches can be integrated across the lifecycle of autonomous drone deployment. They provide ways to evaluate human perception before deployment, support more natural interaction during deployment, and enable continued human collaboration after deployment. This work contributes to the development of autonomous drone systems that are not only technically capable, but also safer, more understandable, and easier for people to use and accept in real-world environments.