Natural Language Human-Robot Interaction: A Modular Framework for Conversational Robot Control using Large Language Models
Laen...
Kuupäev
Autorid
Ajakirja pealkiri
Ajakirja ISSN
Köite pealkiri
Kirjastaja
Tartu Ülikool
Abstrakt
As robots are increasingly used in everyday situations beyond industrial environments, traditional
controller-based interfaces that require specialized training pose significant barriers to
widespread adoption. This thesis introduces a modular natural language human-robot interaction
system designed for conversational robot control. It integrates large language models with
robust robotic frameworks to enhance usability. The system tackles key challenges, such as the
reliability of large language models, contextual awareness, and bridging the semantic gap. It
includes specialized components for error handling, memory management, and cross-platform
deployment through a web interface. Validated on various platforms, including TIAGo and
Boston Dynamics Spot, the system demonstrates platform-agnostic functionality and accessibility
for non-technical users. This advancement helps democratize robot control through
natural language while ensuring operational reliability.
Kirjeldus
Kuna roboteid kasutatakse üha enam igapäevastes olukordades väljaspool tööstuskeskkondi, kujutavad traditsioonilised kontrolleripõhised liidesed, mis nõuavad spetsiaalset väljaõpet, märkimisväärseid takistusi laialdasele kasutuselevõtule.
Käesolev väitekiri tutvustab modulaarset loomuliku keele inimese-roboti suhtlussüsteemi, mis on loodud vestluspõhiseks roboti juhtimiseks. See integreerib suured keelemudelid töökindlate robotiraamistike abil kasutusmugavuse suurendamiseks.
Süsteem tegeleb oluliste väljakutsetega, nagu suurte keelemudelite usaldusväärsus, kontekstiteadlikkus ja semantilise lõhe ületamine. See sisaldab spetsiaalseid komponente vigade käsitlemiseks, mälu haldamiseks ja platvormideüleseks juurutamiseks veebiliidese kaudu.
Süsteemi on valideeritud erinevatel platvormidel, sealhulgas TIAGo ja Boston Dynamics Spot, demonstreerides platvormist sõltumatut funktsionaalsust ja ligipääsetavust mittetehnilistele kasutajatele.
See edasiminek aitab demokratiseerida roboti juhtimist loomuliku keele kaudu, tagades samal ajal töökindluse.
Märksõnad
Human-Robot Interaction (HRI), Large Language Models (LLMs), Natural Language Processing, Robot Operating System (ROS2), TeMoto Framework, Conversational Interfaces, Unified Meaning Representation Format (UMRF), Error Handling, Modular Architecture, Platform- Agnostic Design