Automated Resolution of Issue Reports using LLM Agents: A Systematic Literature Review

Abstract

The goal of this thesis is to evaluate the ability of large language model agents in resolving issue reports present in repositories. A systematic literature review following Kitchenham’s methodology is conducted. Systematic literature review covers studies published in 2023 and later. Articles for this systematic literature review were selected according to their relevance towards large language model agents designed for issue resolution. The systematic literature review identifies common agent designs, evaluation datasets and benchmarks, metrics, and factors influencing their performance. Findings from this thesis highlight the strengths and limitations of current large language model agents and their benchmarks.

Töö eesmärgiks on hinnata suurte keelemudelite agentide võimekust tarkvaravigade automaatsel parandusel, keskendudes nende võimekusele lahendada vearaporteid koodihoidlates. Töö käigus viidi läbi süstemaatiline kirjanduse ülevaade vastavalt Kitchenhami metoodikale, mis hõlmas 2023. aastast alates avaldatud uurimistöid. Artiklid süstemaatilise kirjanduse ülevaate jaoks valiti vastavalt asjakohasusele suure keelemudeli agentide suunas, mis on mõeldud veakirjelduste lahendamiseks. Süstemaatiline kirjanduse ülevaade leidis, millised on tüüpilised agentide disainid, andmestikud ja mõõtlusalused, näitajad ja faktorid nende tulemuslikkust mõjutasid. Selle lõputöö tulemused toovad esile praeguste suurte keelemudeli agentide ja nende mõõtlusaluste tugevused ja piirangud.