Optimized Snowplow Routing on Estonian Roads: Machine Learning Approaches

Abstract

Efficient management of snowplowing operations on roads is a critical infrastructure challenge in regions with harsh winter conditions, such as Estonia. This thesis addresses the Snowplow Arc Routing Problem (SARP), with the intention of optimizing snowplow routes to minimize deadheading, ensure complete task coverage, and balance workloads between multiple vehicles. The study investigates four primary aspects: (1) the effectiveness of Mixed Integer Linear Programming (MILP) in optimally solving SARP instances; (2) the capability of supervised machine learning approaches to approximate MILP solutions while maintaining connectivity and complete coverage; (3) the potential of reinforcement learning (RL) techniques to improve routing performance and quality within machine learning frameworks; and (4) the comparative advantages and limitations of classical MILP, supervised ML, RL, and hybrid ML-RL models for such tasks. An MILP model implemented with Gurobi provides optimal benchmarks for subsequent learning-based approaches. Although the MILP achieves an optimal deadhead ratio of 0.002, it demonstrates significant computational scalability constraints. A supervised learning model utilizing graph neural networks (GNN) and Transformer-based pointer networks is developed, achieving an average deadhead ratio of 1.47 with initial coverage feasibility of 65.6% before heuristic post-processing. To address supervised learning limitations, an actor-critic RL model is implemented, which shows an improved deadhead ratio of 1.42. A proposed two-stage hybrid ML-RL architecture that combines supervised edge-to-truck assignments with RL-driven routing achieves a better workload balance coefficient of variation of 0.843 compared to 0.903 for supervised and 0.945 for RL, and a better initial coverage feasibility of 70.3%, but a slightly higher deadhead ratio of 1.53 highlighting trade-offs between operational efficiency and workload distribution. These approaches are validated through experiments conducted on real-world road networks in Tartu, Estonia. The results indicate that pure RL provides the most efficient solutions regarding route length and deadheading, while the hybrid ML-RL model demonstrated strengths in workload equity and coverage feasibility. Lumekoristustööde tõhus haldamine teedel on kriitilise tähtsusega infrastruktuuriprobleem karmide talvetingimustega piirkondades, näiteks Eestis. See väitekiri käsitleb lumekoristuskaare marsruutimise probleemi (SARP), eesmärgiga optimeerida lumekoristusmarsruute, et minimeerida tühimike arvu, tagada ülesannete täielik katvus ja tasakaalustada töökoormust mitme sõiduki vahel. Uuringus uuritakse nelja peamist aspekti: (1) segatud täisarvulise lineaarprogrammeerimise (MILP) efektiivsust SARP-i eksemplaride optimaalsel lahendamisel; (2) juhendatud masinõppe lähenemisviiside võimet MILP-lahendusi lähendada, säilitades samal ajal ühenduvuse ja täieliku katvuse; (3) tugevdusõppe (RL) tehnikate potentsiaali marsruutide toimivuse ja kvaliteedi parandamiseks masinõppe raamistikes; ja (4) klassikalise MILP-i, juhendatud ML-i, RL-i ja hübriidsete ML-RL-mudelite võrdlevad eelised ja piirangud selliste ülesannete puhul. Gurobi abil rakendatud MILP-mudel pakub optimaalseid võrdlusaluseid järgnevatele õppepõhistele lähenemisviisidele. Kuigi MILP saavutab optimaalse tühimike arvu 0,002, näitab see olulisi arvutuslikke skaleeritavuse piiranguid. Arendati juhendatud õppe mudelit, mis kasutab graafilisi närvivõrke (GNN) ja transformaatorpõhiseid pointervõrke, saavutades keskmise tühimike suhte 1,47 ja esialgse katvuse teostatavuse 65,6% enne heuristilist järeltöötlust. Juhendatud õppe piirangute lahendamiseks rakendati näitleja-kriitiku RL-mudelit, mis näitab paremat tühimike suhet 1,42. Kavandatud kaheastmeline hübriidne ML-RL arhitektuur, mis ühendab juhendatud servast veoautoni määramised RL-põhise marsruutimisega, saavutab parema töökoormuse tasakaalu variatsioonikordaja 0,843 võrreldes 0,903-ga juhendatud ja 0,945-ga RL-i puhul ning parema esialgse katvuse teostatavuse 70,3%, kuid veidi kõrgema tühimike suhte 1,53, mis toob esile kompromisse tegevuse efektiivsuse ja töökoormuse jaotuse vahel. Neid lähenemisviise valideeriti Tartu linnas, Eestis, reaalsetes teedevõrkudes läbi viidud katsetega. Tulemused näitavad, et puhas RL pakub kõige tõhusamaid lahendusi marsruudi pikkuse ja tühimike osas, samas kui hübriidne ML-RL mudel näitas tugevusi töökoormuse võrdsuse ja katvuse teostatavuse osas.