Deep learning methods for cell microscopy image analysis
Date
2024-04-24
Authors
Journal Title
Journal ISSN
Volume Title
Publisher
Abstract
Rakk on kõigi elusorganismide peamine ehitusüksus ja peaaegu kõigi bioloogiliste protsesside toimumiskoht. Rakud toodavad valke ja energiat, transpordivad materjale ja hävitavad jäätmeid. Nad saavad end mitoosi kaudu paljundada ja suhelda signaaliradade kaudu oma keskkonnaga. Ilma rakkudeta ei oleks elu olemas. Rakkude toimimise mõistmine võimaldab inimestel bioloogiliste protsesside, haiguste ja ravimite kohta rohkem teada saada.
Rakud on väga väikesed. Tavalise imetaja rakudiameeter on umbes 10−20 μm, mis on ligikaudu viiendik väikseimast objektist, mida inimene palja silmaga näha on võimeline. Kuna inimese silmal puudub võime näha sellise suurusega objekte, rääkimata nende põhjalikust uurimisest, kasutavad teadlased erivarustust – mikroskoopi. Mikroskoop on seade, mis suurendab väikseid objekte, mida muidu oleks võimatu uurida. Antud doktoritöös analüüsime pilte, mis on saadud laialdaselt kasutatava valgusmikroskoobiga - see on instrument, mis kasutab ära valgust ja selle omadusi, et suurendada mikroskoopilisi objekte.
Tänu mikroskoopia arengule on seda valdkonda suudetud viimasel ajal ka märkimisväärselt automatiseerida. Mikroskoopia andmete hulk on hoogsalt suurenenud, sest nüüd saab ühes eksperimendis automatiseeritud korras luua miljoneid pilte [1, 2, 3]. Selliste tohutute pildikogumite uurimiseks on hädavajalikud automatiseeritud ja täpsed analüüsiprotseduurid.
Pildianalüüsi tehnikad on pidevalt arenenud. Eriti tõhusaks on osutunud masinõppe algoritmid ja seetõttu kasutatakse neid laialdaselt ka selles valdkonnas. Paljud algoritmid on kergesti kättesaadavad erinevate bioloogiliste piltide analüüsiks mõeldud tööriistade [4] kaudu - ImageJ/Fiji [5], CellProfiler [6], ja Ilastik [7]. Hoolimata selliste tööriistade laialdasest kasutuselevõtust, ei pruugi need vahendid alati anda piisavalt täpseid tulemusi, kuna traditsiooniliste masinõppe algoritmide kasutamine eeldab nii insener-tehnilisi oskusi kui ka valdkonnateadmisi [8]. Selliste lähenemisviiside stabiilsust ja usaldusväärsust mõjutavad ka signaali kvaliteedi varieeruvus ning erinevused pildistamismeetodites, mis on iseloomulikud kõrge läbilaskevõimega rakumikroskoopiale [9,10].
Erinevalt traditsioonilistest masinõppemeetoditest, mis nõuavad hoolikat sisendandmete eeltöötlust, eraldavad sügavõppe meetodid automaatselt asjakohaseid mustreid toorandmest, kasutades selleks mitmekihilisi arvutuslikke mudeleid. Üheks sügavõppe meetodite liigiks olevas konvolutsioonilises närvivõrgus liigutatakse filtreid üle pildi, et tuvastada pildi peamisi tunnuseid ja mustreid. Konvolutsioonilised närvivõrgud saavutavad tipptasemel tulemusi ülesannetes nagu pildi klassifitseerimine [11, 12], objekti tuvastamine [13, 14] ja segmenteerimine [15, 16]. Sügavõppe kiire areng on pidevalt loonud uusi teadmisi, mida saaks mikroskoopiaga seotud pildianalüüsis ära kasutada, kuid mida pole sellel eesmärgil veel täielikult rakendatud.
Doktoritöö algas süvaõppe uusimate meetodite rakendamisega rakutuumade segmenteerimiseks, mis on sageli üks esimesi samme raku mikroskoopiapiltide töötlemise protsessides. Täpne rakutuumade segmenteerimine on ülioluline paljude bioloogiliste rakenduste kontekstis. Näiteks on rakutuuma struktuuri ja morfoloogia kõrvalekalded sageli seotud haigustega nagu vähk. Seega aitab tuumade segmenteerimine ja nende omaduste uurimine kaasa vähidiagnoosimisele ja haiguse kulu jälgimisele [17]. Tuumade tuvastamist rakendatakse ka rakkude jälitamiseks, mille abil on omakorda võimalik uurida rakusüsteemide käitumist ning selle muutumist erinevate ravimite toimel [18]. Peamiseks fookuseks olid helevälja mikroskoobipildid, kuna neid on suhteliselt lihtne toota, kuid raske kontrollida ja analüüsida. Me katsetasime tuumade segmenteerimiseks mitmeid tipptasemel mudeliarhitektuure ja lõime ka uue arhitektuuri, PPU-Net [19]. Hinnatud mudelid saavutasid varieeruvaid tulemusi tuumade segmenteerimisel heleväljapiltidelt - PPU-Net saavutas aga tollel hetkel olemasolevate tipptaseme mudelitega võrdseid tulemusi, kasutades selleks 20 korda vähem treenitavaid parameetreid, mis muutis selle konkurentidest kergemaks ja vähem keerukamaks. Samuti uurisime mudelite ebastabiilsete tulemuste põhjuseid erinevatel rakutüüpidel ja üksikutel piltidel, vajalike treeningpiltide arvu ja kõige sagedamaid vigade allikaid.
PPU-Net segmenteerimisvigade põhjuste uurimisel leidsime, et anomaaliate olemasolu piltidel (signaal, mis ei kajasta oodatut) on suur veaallikas. Seega tahtsime paremini mõista anomaaliate probleemi. Uurisime erinevaid andmekogumeid ja leidsime, et anomaaliad esinevad erinevates kujudes ja suurustes ning need võivad oluliselt moonutada järgnevaid analüüse. Nende mõju leevendamise eesmärgil lõime raamistiku, mis määratleb ja eemaldab anomaaliad minimaalse inimtööga, tehes ainult pilditasemel märgendeid, mitte töömahukaimaid pikslitasemel märgendeid [20]. Kuna anomaaliad on oma olemuselt keerulised ja nende märgendamine pikslitasemel on töömahukas ja aeganõudev, siis pakkusime välja ainult pilditasemel märgendite kasutamise selle ülesande jaoks. Esiteks pakkusime välja ScoreCAMi nimelise meetodi kasutamise [21], mille eesmärk on tõlgendada sügavõppe pildiklassifitseerimise algoritme, tuues esile pildi osad või tunnused, mille põhjal langetab sügavõppe meetod oma otsuse. Kui sügavõppe meetod klassifitseerib, kas pildil esineb anomaaliaid või mitte, siis hüpoteesi kohaselt on sügavõppe mudeli otsuse tegemisel kõige mõjukamaks pildi osaks või tunnuseks just anomaalia - see hüpotees tõestati hiljem empiiriliselt. ScoreCAMi väljundit kasutati hiljem pseudo-märgenditena segmenteerimismudeli treenimiseks [20]. Sel moel ühendame pikslitasemel segmenteerimise kvaliteedi ja pilditasemel märgendite hankimise mugavuse. Nimetasime oma väljapakutud raamistiku ScoreCAM-U-Netiks ning näeme ette, et tulevikus muutub soovimatute objektide eemaldamine tõenäoliselt kõigi suuremahuliste mikroskoopiaeksperimentide standardprotsessi osaks.
Lõpuks rakendasime omandatud teadmisi pärismaailma kontekstis. Uurisime sügavõppe meetodite kasutamise väärtust anomaaliate eemaldamiseks ja segmenteerimiseks ravimite avastamise uurimistöös. Selleks tegime koostööd keemikute ja bioloogidega, kes uurivad ühte silmapaistvamat rakumembraani retseptorit - M4. Vaatamata selle kasvavale tähtsusele, on osutunud keerukaks luua uusi ravimeid, mis oleksid suunatud sellele retseptorile [22]. Meie koostööpartnerid kasutasid kõrge afiinsusega fluorestseeruvaid ligande, et uurida sidumisinteraktsiooni M4 retseptoriga. Selleks on vaja eraldada rakud ja uurida nendes olevat fluorestsentssignaali, mille tugevus sõltub valgu ja ligandi vahelise afiinsuse tugevusest ning ligandi kontsentratsioonist. Fluorestseerivate ligandide poolt rakkudes tekitatud signaal ei osutunud piisavaks, et mudel saanuks eristada rakku taustast. Seega otsustasime segmenteerida rakke keerukamast, kuid fluorestseerivusest sõltumatutest heleväljapiltidest. Esiteks kasutasime sügavõpet rakukehade segmenteerimiseks heleväljapiltidelt. Järgmisena analüüsisime fluorestseeruvat signaali rakkudest, mis eraldati vastavatelt fluorestseeruvatelt piltidelt segmenteerimistulemustest saadud rakukoordinaatide abil. Seejärel uurisime anomaaliate eemaldamise mõju heleväljapiltide signaalile, mis tulenes retseptori-ligandi interaktsioonist. Näitasime, et anomaaliate eemaldamine muutis signaali rohkem erapooletutuks ja et meie loodud mudeli kasutamine nende eemaldamiseks andis peaaegu optimaalse tulemuse.
Analyzing microscopy images of cells is indispensable in modern biological research as it allows scientists to understand cellular activity better and develop new drugs. With the advent of advanced microscopes and the increasing amount of microscopy data, there is a growing demand for automated and accurate image analysis procedures. Deep learning technology has recently proven effective in analyzing images and various computer vision tasks, including image segmentation and object detection. We have explored and implemented various deep-learning methods to analyze cell microscopy images in a series of studies that comprise the core contributions of this thesis. We first concentrate on the task of segmenting nuclei in microscopy images, which is often regarded as the preliminary step in such image analysis. Our work's initial phase involved evaluating state-of-the-art deep learning methods for nuclei segmentation, which proved challenging, particularly in the case of specific types of microscopy images known as brightfield images. Subsequently, we proposed a lightweight model, PP-U-Net, for the same purpose. PP-U-Net performs on par with the state-of-the-art with 20-fold fewer parameters. During investigating the causes of PPU-Net segmentation errors, we found that images often contain artifacts that substantially distort downstream analyses. To address this challenge, we developed a novel framework, ScoreCAM-U-Net, which leverages deep learning methods to identify and eliminate artifacts with minimal user input. This framework combines the performance advantages of pixel-level segmentation with the convenience of image-level annotations and is expected to become a standard step for all large-scale microscopy experiments. Finally, we distilled the knowledge and insights we gained from this work to support candidate drug discovery research. The methods developed in this study have been utilized by a variety of industrial and academic organizations, which have benefited from them in their research.
Analyzing microscopy images of cells is indispensable in modern biological research as it allows scientists to understand cellular activity better and develop new drugs. With the advent of advanced microscopes and the increasing amount of microscopy data, there is a growing demand for automated and accurate image analysis procedures. Deep learning technology has recently proven effective in analyzing images and various computer vision tasks, including image segmentation and object detection. We have explored and implemented various deep-learning methods to analyze cell microscopy images in a series of studies that comprise the core contributions of this thesis. We first concentrate on the task of segmenting nuclei in microscopy images, which is often regarded as the preliminary step in such image analysis. Our work's initial phase involved evaluating state-of-the-art deep learning methods for nuclei segmentation, which proved challenging, particularly in the case of specific types of microscopy images known as brightfield images. Subsequently, we proposed a lightweight model, PP-U-Net, for the same purpose. PP-U-Net performs on par with the state-of-the-art with 20-fold fewer parameters. During investigating the causes of PPU-Net segmentation errors, we found that images often contain artifacts that substantially distort downstream analyses. To address this challenge, we developed a novel framework, ScoreCAM-U-Net, which leverages deep learning methods to identify and eliminate artifacts with minimal user input. This framework combines the performance advantages of pixel-level segmentation with the convenience of image-level annotations and is expected to become a standard step for all large-scale microscopy experiments. Finally, we distilled the knowledge and insights we gained from this work to support candidate drug discovery research. The methods developed in this study have been utilized by a variety of industrial and academic organizations, which have benefited from them in their research.
Description
Väitekirja elektrooniline versioon ei sisalda publikatsioone