Improving Counterfactual Image Generation for Weakly Supervised Tumour Segmentation through Theoretical and Architectural Alignment

Abstract

As demand grows for scalable and interpretable AI tools in medical imaging, particularly for tumour detection, weakly supervised learning has emerged as a promising solution. It enables the use of existing datasets that include diagnostic labels without requiring labour-intensive, pixel-level annotations. This thesis explores how architectural alignment can better leverage image-level labels to enhance the performance and quality of existing segmentation frameworks. The work builds upon a classifier-guided conditional generative adversarial network (GAN) pipeline that segments tumours through counterfactual inpainting. Several architectural and theoretical modifications are proposed, including the removal of architectural bias, integration of classifier features into the generator, alignment of the discriminator with anatomically paired data, and the use of relativistic GAN loss with gradient normalisation. The effectiveness of these modifications is evaluated on the Tartu University Hospital (TUH) kidney tumour dataset, which contains annotated CT scans. Results show that the proposed modifications achieve segmentation performance comparable to the baseline while reducing model constraints and cutting training time by up to two-thirds. These findings suggest that aligning model components can enhance the performance of weakly supervised pipelines that rely on indirect learning signals. Meditsiinilises pildidiagnostikas, eriti kasvajate tuvastamisel, on kasvav nõudlus skaleeritavate ja tõlgendatavate tehisintellektil põhinevate tööriistade järele. Nõrgalt juhendatud õpe on tõusnud üheks paljulubavaks lähenemiseks, mis võimaldab kasutada olemasolevaid diagnostilisi tõlgendusi sisaldavaid andmekogumeid, ilma et oleks vaja luua suurt töömahtu nõudvaid piksli tasandil märgendatud andmeid. Käesolevas töös uuritakse, kuidas eesmärgile paremini kohandatud arhitektuur võimaldab tõhusamalt kasutada pildi tasemel märgendeid, et tõsta olemasolevate segmenteerimisraamistike jõudlust ja kvaliteeti. Töös arendatakse edasi olemasolevat klassifitseerimismudelil põhinevat tingimuslikku generatiivset võistlevat võrgustikku (GAN), mis segmenteerib kasvajaid kontrafaktuaalse maalilmise kaudu. Esitatakse mitmeid täiustusi, sealhulgas arhitektuurilise kallutatuse eemaldamine, klassifitseerija tunnuste integreerimine generaatorisse, diskriminaatori kooskõlastamine anatoomiliselt oluliste andmetega ning relatiivse GAN-i kaofunktsiooni kasutamine koos gradiendi normaliseerimisega. Muudatuste tõhusust hinnatakse Tartu Ülikooli Kliinikumi neerukasvajate andmestikul, mis sisaldab märgendatud kompuutertomograafia pilte. Tulemused näitavad, et esitatud täiustused saavutavad baasmeetodiga võrreldava segmenteerimisjõudluse, vähendades mudeli piiranguid ja kasutades vaid üks kolmandik algsest treeningajast. Saadud tulemused viitavad sellele, et erinevate mudeli komponentide kooskõlastamine võib parandada nõrgalt juhendatud mudelite tõhusust, mis tuginevad kaudsetele õpisignaalidele.