Going Beyond U-Net: Assessing Vision Transformers for Semantic Segmentation in Microscopy Image Analysis

Abstract

Segmenteerimine on biomeditsiinilise piltdiagnostika üks olulisemaid osi. Viimase kümnendi jooksul on biomeditsiiniliste piltide segmenteerimiseks välja töötatud palju lähenemisviise, alates klassikalistest segmenteerimisalgoritmidest kuni täiustatud süvaõppe mudeliteni nagu näiteks U-Net. Hiljuti on välja tuldud uue mudeliklassiga – transformeritega, mis lubavad suurendada biomeditsiiniliste piltide segmenteerimistäpsust. Magistritöös uuritakse U-Neti mudeli ja uuemate transformeripõhiste mudelite, sealhulgas UNETR, Segment Anything Model ja Swin Transformer, täpsust erinevate biomeditsiiniliste piltide modaalsuste puhul nagu elektron-, helevälja- ja faaskontrastimikroskoopia ning histopatoloogia. Lisaks tuvastatakse algses Swin Transformeri arhitektuuris mitmeid piiranguid ning pakutakse välja muudatusi mudelis selle täpsuse parandamiseks. Töö tulemused näitavad, et need modifikatsioonid parandavad segmenteerimistäpsust nii klassikalise U-Neti mudeli kui ka algse Swin mudeliga võrreldes. Kuigi tulemustest ilmneb, et transformerid on paljutõotavad, seda eriti keerukate pildistruktuuride käsitlemisel, näitab meie praktiline kogemus, et nende mudelite kasutuselevõtt võib-olla keeruline. Selles töös võrreldakse populaarseid transformeripõhiseid mudeleid U-Netiga ja näidatakse, et läbimõeldud muudatustega saab transformerite täpsust ja rakendatavust suurendada, mis sillutab teed nende integreerimiseks mikroskoopia pildianalüüsi meetoditesse.