TeMoto Action Assistant: A Web-Based Human–Robot Interface for Designing UMRF Graphs

Abstract

This thesis develops the TeMoto Action Assistant, a modern, web-based graphical user interface (GUI) designed to improve human-robot interaction within the TeMoto framework. It aims to simplify the creation and management of Unified Meaning Representation Format (UMRF) graphs, to speed up developers' time. Significantly, it uses a web-based architecture that many current ROS 2-based human-robot tnterface (HRI) solutions do not address. The proposed solution uses React, Python Flask, and the WebSocket protocol for real-time synchronization with the TeMoto Action Engine. Significantly, it provides GUI functionalities like creating robot tasks via drag-and-drop, editing action parameters, and built-in runtime execution and monitoring. By providing an open-source, multi-platform GUI, this work lowers the barrier for entry for robotic application development and hopes to expand the adoption of the TeMoto framework.

Käesolev lõputöö arendab välja veebipõhise graafilise kasutajaliidese (GUI), TeMoto Action Assistanti, mis on loodud inimese ja roboti interaktsiooni (HRI) edendamiseks TeMoto tarkvararaamistikus. Täpsemalt, lihtsustab see Unified Meaning Representation Format (UMRF) graafide loomist ja haldamist, et kiirendada arendajate tööd. Selle eeliseks on veebipõhine arhitektuur, mida olemasolevad ROS 2-põhised GUI lahendused ei rakenda. Arhidektuuri tasemel kasutab veebiäpp Reacti, Python Flaski ja WebSocketi protokolli andmeedastuseks, et reaalajas suhelda TeMoto Action Engine’iga. Veebiäpp pakub olulisi funktsionaalsusi nagu robotite ülesannete loomine GUI kaudu, tegevuste parameetrite muutmist ning nende käivitamist. Avatud lähtekoodiga lahendusena on selle eesmärk alandada tehnilist lävendit robootikasüsteemide arendamisel ja laiendada TeMoto tarvkararaamistiku kasutavate arendajate hulka.