Matiisen, Tambet, juhendajaPloter, MaksimTartu Ülikool. Loodus- ja täppisteaduste valdkondTartu Ülikool. Arvutiteaduse instituut2025-10-232025-10-232025https://hdl.handle.net/10062/117032Autonomous Driving Systems (ADS) promise safer roads, better traffic flow, and reduced environmental impact. The Society of Automotive Engineers (SAE) International’s J3016 standard [1] stipulates stringent safety requirements for ADS, particularly concerning their operational behavior during dynamic driving task performance-relevant system failures. The perception task, which includes the fundamental computer vision task of object detection, is a key capability that distinguishes ADS from a “regular” vehicle. In the last decade, there has been remarkable progress in various computer vision tasks, and the object detection task in particular. However, many contemporary state-of-the-art models are specialists, with strong inductive biases for specific data types, making them difficult, if not impossible, to use for ADS. To address this limitation, the thesis introduces two novel recurrent architectures: the Recurrent Perceiver (RPerceiver) and its multi-modal variant, the Recurrent Perceiver Multi-Modal (RPerceiverMM). The efficacy of these architectures was evaluated on a novel benchmark dataset, ”detectionmoving-mnist-easy”, proposed in this thesis. The experimental results suggest the proposed models’ effectiveness in leveraging temporal information, particularly in challenging cases such as objects that are partially visible while leaving the video frame. Furthermore, this research investigated specific training procedures designed to simulate complete sensor failures and non-deterministic data availability. The findings indicate that these proposed training strategies significantly improve model robustness, demonstrating enhanced performance when faced with conditions analogous to real-world ADS sensor system failures. This work contributes to the development of more resilient perception systems crucial for the safe deployment of ADS. The code was open-sourced at GitHub 1.Autonoomsed juhtimissüsteemid (ADS) lubavad ohutumaid teid, paremat liiklusvoogu ja väiksemat keskkonnamõju. Autotööstuse Inseneride Ühingu (SAE) standard J3016 [1] sätestab ranged ohutusnõuded ADS-dele, eriti mis puudutab nende talitlust dünaamilise sõiduülesande täitmisega seotud süsteemirikete korral. Tajufunktsioon, mis hõlmab fundamentaalset arvutinägemise ülesannet – objektituvastust –, on võtmevõimekus, mis eristab ADS-e tavalistest sõidukitest. Viimasel kümnendil on toimunud märkimisväärne edasiminek erinevates arvutinägemise ülesannetes, eriti objektituvastuses. Paljud kaasaegsed tipptasemel mudelid on aga spetsialiseerunud, omades tugevaid induktiivseid eeldusi konkreetsete andmetüüpide suhtes, mis muudab nende kasutamise ADS-de jaoks keeruliseks, kui mitte võimatuks. Selle piirangu lahendamiseks tutvustab käesolev magistritöö kahte uudset rekurrentset arhitektuuri: Rekurrentne Perceiver (RPerceiver) ja selle mitmemodaalne variant Rekurrentne Perceiver MitmeModaalne (RPerceiverMM). Nende arhitektuuride tõhusust hinnati käesolevas töös välja pakutud uudsel võrdlusandmestikul ”detection-moving-mnist-easy”. Eksperimentaalsed tulemused viitavad väljapakutud mudelite efektiivsusele ajalise teabe ärakasutamisel, eriti keerulistes olukordades, näiteks objektide puhul, mis on kaadrist väljudes osaliselt nähtavad. Lisaks uuriti selles töös spetsiifilisi treeningprotseduure, mis on loodud simuleerima täielikke anduririkkeid ja andmete mittedeterministlikku kättesaadavust. Tulemused näitavad, et need väljapakutud treeningstrateegiad parandavad oluliselt mudeli robustsust, demonstreerides paremat jõudlust tingimustes, mis sarnanevad reaalsete ADS-i andurisüsteemide riketele. See töö aitab kaasa vastupidavamate tajusüsteemide arendamisele, mis on ADS-ide ohutu kasutuselevõtu jaoks üliolulised.enAttribution-NonCommercial-NoDerivatives 4.0 Internationalhttps://creativecommons.org/licenses/by-nc-nd/4.0/Computer VisionDeep LearningAutonomous Driving SystemsTransformerVideo Object DetectionmagistritöödinformaatikainfotehnoloogiainformaticsinfotechnologyThesis