Control Code Comprehension with Large Language Models (LLMs)

Abstract

Suured keelemudelid (LLM) leiavad kõiksugustes rakendustes laialdaselt kasutust, alates teksti kokkuvõtetest kuni automatiseeritud teoreemide tõestamiseni ja koodi mõistmisest kuni koodi genereerimiseni. Juhiseid (viipasid) kasutatakse, et suuri keelemudeleid (LLM) uute ülesannete lahendamiseks häälestada ja selle läbi üldistusvõimet suurendada. Praeguseni on vähem pingutusi suunatud, et suuri keelemudeleid (LLM) tarkvara arenduses, näiteks loomulikust keelest koodiks, koodi paranduse, koodist arusaamise jne ülesanneks, kasutada. Koodi mõismine keelemudelite (LLM) abiga ei ole triviaalne probleem, sest programmikoodi ja loomulike keele vahel on struktuurilisi erinevusi. Veel enam, teksti korpuste peal treenitud kaubanduslikud keelemudelid ((LLM) on suletud lähtekoodiga ning neil jääb läbipaistvusest ja korratavusest vajaka. Et seda lünka täita pakub antud töö keelemudelite (LLM) koodi mõistmiseks kasutamise viipade häälestamiseks välja uudse meetodi. Me olen viiba abil ChatGPT 3.5 ja ChatGPT 4 häälestanud kontrollsüsteemide Matlabi koodi mõistmiseks. Meie käsitsi kirjutatud Matlabi kood simuleerib erinevate kontrollsüsteemide, näiteks tagasiside kontroll ja PID kontroll, käitumist. Me pakume välja ja disainime kolme eri tüüpi viipasid: (i) tekstiline viip, (ii) loogiline viip ja (iii) numbriline viip, et aidata keelemudelil (LLM) kontrollsüsteemide koodist aru saada. Me pakume keelemudelite (LLM) koodi mõismise õigsuse hindamiseks välja uue mõõdiku. See töö näitab, et kuigi keelemudelid on keeleliste ülesannete lahendamises väga head, siis ei ole nad kontrollkoodi skriptide, mis töötavad peamiselt numbrilistes ja lineaar-algebralistes domeenides, mõistmiseks veel piisavalt küpsed.