Asymmetric Deep Multi-Task Learning

Date

2024

Journal Title

Journal ISSN

Volume Title

Publisher

Tartu Ülikool

Abstract

Recent developments make deep neural networks a valuable asset for autonomous driving. They can be deployed as an end-to-end system or part of more complex systems for specific tasks. If a system needs several tasks by neural networks, using multi-task learning (MTL) introduces few benefits compared to deploying several single-task learning (STL) models, such as better time and space complexity on deployment and potentially increased generalization on the backbone network. However, MTL often faces unique challenges. Many existing MTL datasets have limited labels or lack the required labels for specific tasks, and generating labels for these tasks leads to resource and time consumption for researchers. Training the model on an asymmetric labeled dataset, a dataset where labels for specific tasks are unavailable for a subset, can cause a biased gradient, reflecting an unbalance in the accuracy of tasks. In this thesis, asymmetric MTL were investigated and compared to symmetric MTL and STL methods.

Description

Kiire areng sügavate närvivõrkude valdkonnas on muutnud need oluliseks komponendiks isejuhtivate sõidukite lahendustes. Närvivõrke saab kasutada nii otse juhtimiskäskluste ennustamiseks isejuhtivas süsteemis, või ka konkreetsete alamülesannete lahendamiseks keerulisemas modulaarses süsteemmis. Kui süsteemis kasutatakse närvivõrke mitme erineva ülesande jaoks, siis ühise mitme väljundiga närvivõrgu treenimine võib olla efektiivsem kui eraldi närvivõrgu treenimine iga üksiku ülesande jaoks, seda nii nii töökiiruse kui mälukasutuse mõttes. Samuti võib üheks eeliseks olla närvivõrgu täiendav üldistusvõime tänu teadmuse ülekandumisele ühelt ülesandelt teisele. Samas ei ole selliste mitmikülesande närvivõrkude treenimine lihtne. Selle üheks põhjuseks on, et puuduvad sobivad andmestikud, mis sisaldaksid märgendeid kõikide vajalike ülesannete jaoks. Nende märgendite tekitamine, kas automaatselt või käsitsi, on täiendav aja- ja rahakulu. Seetõttu pakub huvi kuidas treenida mitmikülesande võrku asümmeetriliste andmestike peal, kus ühe alamhulga jaoks on olemas ühe ülesande märgendid ja teise alamhulga jaoks on olemas teise ülesande märgendid. Naiivne treenimine sellise andmestiku peab võib anda tulemuseks ebaühtlase täpsuse erinevate ülesannete vahel. Antud töös uuritaksegi võimalusi mitmikülesande võrkude paremaks treenimiseks asümmeetriliste andmestike peal ning võrreldakse tulemusi sümmeetriliste andmestike ning üksik ülesande võrkudega.

Keywords

asymmetric multi-task learning, deep learning, gradient accumulation

Citation