Efektiivse neuroniarhitektuuri otsingu analüüs parameetrite jagamise kaudu

Date

2019

Journal Title

Journal ISSN

Volume Title

Publisher

Abstract

Sügavõppepõhised lähenemised on parandanud tehnika taset mitmesugustes ülesannetes nagu keele modelleerimine, raalnägemine, objekti tuvastamine ja pildi segmenteerimine. Iga sügavõppe ülesanne nõuab spetsiaalselt selle ülesande jaoks kohandatud arhitektuuri. Selle tõttu on suur nõudlus sügavõppe domeeniekspertide järele, kes suudavad uudseid arhitektuure luua ja käsitseda. Domeeniekspertide tasu tõusu ja arvutuslike kulutuste languse tõttu peetakse alternatiiviks tehisnärvivõrgu arhitektuuri disainimise automatiseerimist. Selle probleemi lahendamiseks on kasutusele võetud närviarhitektuuri otsingu kontseptsioon. Tehisnärvivõrgu arhitektuuri otsingut võib pidada automatiseeritud masinõppe (AutoML) domeeni alamhulgaks.Käesolevas töös on uuritud uusimat närvivõrgu arhitektuuri otsingutehnikat "Efektiivne närviarhitektuuri otsing parameetrite jagamise kaudu" (ENAS). Google Brain tutvustas ENAS-i ja see oli suur areng võrreldes eelkäijaga „Närviarhitektuuri otsing stiimulõppega” (NAS). ENAS kasutab kontrollerit, et võtta otsinguruumist arhitektuuride valim, millest omakorda valitakse arhitektuurid ENAS-i tulemuslikkuse hindamise strateegias määratletud meetme alusel. ENASi muljetavaldava jõudluse tõttu on uuritud ENAS-i ja sarnaste parameetrite jagamise tehnikate rakendamist olulistes valdkondades nagu meditsiin ja diagnostika Selle töö motivatsioon on kiirendada ja analüüsida ENAS-i õpikäitumist. Selles töös on analüüsitud ENAS-i õppeprotsessi, hinnatud ENAS-i tulemuslikkuse hindamise strateegiat ja rakendatus ülekandeõpet ENAS-i kontrolleril. Erinevate katsete käigus leiti, et arhitektuurid ei muutu ENAS-i kontrolleri treenimise abil paremaks. Järeldati, et ENAS-i kontrolleri treenimine ei ole vajalik ja arutleti ENAS-i tulemuslikkuse hindamise strateegia piiranguid.
Deep learning based approaches have improved the state of the art performance of systems in various tasks such as language modeling, computer vision, object recognition, and image segmentation. Every task in deep learning requires custom architectures tailored specifically for that task. This resulted in high demand of domain experts for deep learning who can craft novel architectures. With the cost of domain experts rising and computational expenses falling, automating the neural architecture design is considered as an alternative. The concept of neural architecture search has been introduced to tackle this problem. Neural architecture search can be considered a subset of automated machine learning(AutoML) domain.In this thesis, we have looked at a state of the art neural architecture search technique "Efficient neural architecture search via parameter sharing"(ENAS). ENAS was introduced by Google Brain and it was a major improvement over its predecessor "Neural architecture search with Reinforcement learning"(NAS) . ENAS use a controller to sample the architectures from a search space which are later selected based on the measure defined by ENAS performance estimation strategy. Due to the impressive performance of ENAS, there has been research to apply ENAS and similar parameter sharing techniques in critical areas like medicine and diagnostics. The motivation behind this thesis is to speed up and analyze the learning behavior of ENAS. In this work we have analyzed the learning process of ENAS, evaluated ENAS performance estimation strategy and applied transfer learning on ENAS controller. We found that architectures do not improve with ENAS controller training via various experiments. We conclude that training of ENAS controller is not necessary and discuss limitations of ENAS performance estimation strategy.

Description

Keywords

Citation