Few-Shot Prompt-Tuning of Language Mod-els for App Review Classification: An Evalua-tion Study

Abstract

Rakenduste arvustused on väärtuslikud tagasisideallikad rakenduste arendajatele, pakkudes ülevaateid kasutajate vajadustest ja eelistustest. Siiski teeb suur päevane kasutajaarvustuste hulk käsitsi analüüsi teostamise ebareaalseks, vajades automatiseeritud lahendusi, et tu-vastada kasutajaarvustustest arendajatele olulist teavet tarkvara kvaliteedi parandamiseks. Viimased strateegiad arendajatele olulise teabe tuvastamiseks rakenduste arvustustes hõlmavad eelhäälestatud keelemudelite (PLMide) täppishäälestamist arvustuste klassi-fitseerimise ülesandeks, kasutades märgendatud andmeid. Andmete märgendamise kõrge kulu ja uute rakenduste ja kategooriate pideva ilmumise tõttu rakendusturgudel on ülioluline hinnata hiljutisi tehnikaid nagu eelhäälestamine ja prompt-häälestamine, mis on näidanud edu piiratud andmete olukordades. Eelhäälestamise ja prompt-häälestamise strateegia võimaldab mudelitel iseseisvalt erinevatele ülesannetele kohaneda, kasutades promptide kaudu tutvustatud domeeniteadmisi. Selle uuringu peamine eesmärk on hinnata keelemudelite (LMide) väheste näidete põhise prompt-häälestamise tõhusust arendajatele olulise teabe tuvastamisel rakenduste arvustustes. Selle eesmärgi saavutamiseks võrdleb uuringu esimene uurimisküsimus prompt-häälestamise ja traditsioonilise keelemudeli RoB-ERTa täppishäälestamise tulemuslikkust andmekitsikuse olukorras kolmel märgendatud ar-vustuse andmestikul. Teine uurimisküsimus uurib prompt-häälestamise tulemuslikkuse mõju arvustuste teabe klassifitseerimisel keelemudelite (T5 ja GPT-2) valiku ja nende arhitektuuri põhjal. Kolmas ja viimane uurimisküsimus hindab prompti mallide disaini ja verbalisaatori disaini mõju prompt-häälestamise tulemuslikkusele arvustuste teabe klassi-fitseerimisel. Selle uuringu tulemused näitavad, et prompt-häälestamise lähenemine võib piiratud märgendatud andmete olemasolu korral ületada traditsioonilise täppishäälestamise strateegia. Lisaks täheldati uuringus mudelite tulemuslikkuse varieerumist erinevate ar-vustuse andmestike vahel, rõhutades mudelivaliku, verbalisaatori disaini ja prompti mallide disaini tähtsust. Need teadmised pakuvad väärtuslikku juhendit prompt-häälestamise tehni-kate kasutamiseks rakenduste arvustuste valdkonnas, eriti kontekstides, kus märgendatud andmeid on vähe.