IAUNet: Instance-Aware U-Net

Abstract

Instance segmentation is critical in biomedical imaging to accurately distinguish individual objects like cells, which often overlap and vary in size. Recent query-based methods, where object queries guide segmentation, have shown strong performance. While U-Net has been a go-to architecture for medical image segmentation, its potential in query-based approaches remains largely unexplored. In this work, we present IAUNet, a novel query-based U-Net architecture. The core design keeps the full U-Net structure and introduces a lightweight convolutional Pixel decoder that efficiently aggregates multi-scale features with minimal computational cost, making the model more efficient and reducing the number of parameters unlike its Transformer counterparts. On top of that, we propose a Transformer decoder with deep supervision that refines object-specific queries across multiple layers and resolutions, enabling precise instance-level segmentation. Finally, we introduce the Revvity-25 Full Cell Segmentation Dataset, a new 2025 benchmark featuring detailed annotations of overlapping cell cytoplasm in brightfield images. This dataset provides high-resolution labels with accurate instance boundaries and supports evaluation under both modal and amodal segmentation settings. Extensive experiments on multiple public datasets and Revvity-25, we show that IAUNet outperforms most state-of-the-art fully convolutional, transformer-based, and query-based models and cell segmentation-specific models, establishing a strong baseline for cell instance segmentation tasks. Instance-segmentimine on biomeditsiinilises kujutises ülioluline, et täpselt eristada üksikuid objekte, näiteks rakke, mis sageli kattuvad ja varieeruvad suuruse poolest. Viimased päringupõhised meetodid, kus segmentimist juhivad objektipäringud, on näidanud tugevat jõudlust. Kuigi U-Net on olnud populaarne arhitektuur meditsiinilise kujutise segmenteerimiseks, on selle potentsiaal päringupõhistes lähenemistes jäänud suures osas uurimata. Käesolevas töös esitleme IAUNet-i – uut päringupõhist U-Net arhitektuuri. Selle põhistruktuur säilitab täielikult U-Neti ülesehituse ning lisab kerge konvolutsioonilise pikslidekodeerija, mis koondab mitmeskaalalisi tunnuseid efektiivselt ja väikese arvutusliku kuluga, muutes mudeli tõhusamaks ja väiksema mahtuvusega kui tüüpilised Transformer-põhised lähenemised. Lisaks esitame Transformer-põhise dekoodri koos sügava järelevalvemehhanismiga, mis täpsustab objektipõhiseid päringuid mitmes kihis ja eraldusvõimes, võimaldades täpset instance-segmentimist. Lõpuks toome välja uue 2025. aasta referentsandmestiku Revvity-25 Full Cell Segmentation Dataset, mis sisaldab detailseid märgendusi kattuvate rakkude tsütoplasmade kohta heleväljakujutistes. See andmestik pakub kõrgeresolutsioonilisi märgendusi täpsete piiridega ning võimaldab hindamist nii modaalses kui amodaalses segmentatsioonis. Ulatuslike katsetega mitmetel avalikel andmestikel ja Revvity-25 andmestikul näitame, et IAUNet ületab enamuse kaasaegsetest täiskonvolutsioonilistest, Transformer-põhistest ja päringupõhistest mudelitest ning spetsiaalselt rakusegmentatsiooniks loodud lähenemistest, seades tugeva aluse edasiseks arenguks rakutasemel instance-segmentimisel.