A multimodal approach for refining mapping and localization by integrating generative AI and pedestrian-centric data

Abstract

Linnade muutudes üha keerukamaks ja tehnoloogiapõhisemaks kasvab huvi selle vastu, kuidas parandada autonoomsete süsteemide, nagu kullerrobotid ja mikromobiilsuse sõidukid, arusaamist jalakäijate keskkonnast ja selles navigeerimist. See doktoritöö uurib, kuidas erinevat tüüpi andurite ja masinõppe kombineerimine võib toetada paremat kaardistamist ja positsioneerimist sellistes oludes. Töö oluliseks osaks oli mobiilse andmekogumisplatvormi – kaamerate, LiDARi, GPSi ja helisensoritega varustatud elektritõukeratta – arendamine, et koguda detailset teavet kõnniteedelt ja linnaruumist. Saadud andmekogu, nimega DELTA, keskendub spetsiifiliselt jalakäijate infrastruktuurile, mis on traditsioonilistel digitaalsetel kaartidel sageli alaesindatud. Sellele andmekogule tuginedes tutvustab uurimus kahte raamistikku. street2sat kasutab generatiivset tehisintellekti satelliidipiltide genereerimiseks maapinnalt tehtud piltidest, aidates ühtlustada erinevaid kaardiperspektiive. Street2GIS eraldab tänavatasandi piltidelt selliseid tunnuseid nagu kõnniteed ja hooned ning muudab need automaatselt geograafiliste infosüsteemide jaoks kasutatavateks kaardiandmeteks. Kokkuvõttes on nende panuste eesmärk muuta ajakohaste ja jalakäijaid arvestavate kaartide loomine lihtsamaks. Esitatud meetodid võivad toetada rakendusi linnaplaneerimises, autonoomses navigatsioonis ja nutikate linnasüsteemide arendamisel.As cities become more complex and technology-driven, there is growing interest in improving how autonomous systems, such as delivery robots and micromobility vehicles, understand and navigate pedestrian environments. This PhD research explores how combining different types of sensors and machine learning can support better mapping and localization in these settings. A key part of the work involved developing a mobile data collection platform—an electric scooter equipped with cameras, LiDAR, GPS, and audio sensors—to gather detailed information from sidewalks and urban spaces. The resulting dataset, called DELTA, focuses specifically on pedestrian infrastructure, which is often underrepresented in traditional digital maps. Building on this dataset, the research introduces two frameworks. street2sat uses generative AI to generate satellite images from ground-level Images, helping to align different map perspectives. Street2GIS extracts features like sidewalks and buildings from street-level images and automatically turns them into usable map data for geographic information systems. Together, these contributions aim to make it easier to create up-to-date, pedestrian-aware maps. The methods presented could support applications in urban planning, autonomous navigation, and the development of smart city systems.