Genereeritud vastuste kvaliteedi hindamine allikapõhistes generatiivsetes süsteemides
Laen...
Kuupäev
Autorid
Ajakirja pealkiri
Ajakirja ISSN
Köite pealkiri
Kirjastaja
Tartu Ülikool
Abstrakt
Kirjeldus
Viimasetel aastatel on suured keelemudelid leidnud laialdast kasutust erinevates rakendustes - alates vestlusrobotitest klienditeeninduses kuni rakendusteni tervishoiu valdkonnas. Kuigi nende populaarsus ja kasutusvõimalused on kiiresti kasvanud, ei ole iseenesestmõistetav, kuidas hinnata keelemudelite genereeritud vastuste kvaliteeti ning tagada nende usaldusväärsus. See on kriitilise tähtsusega , eriti kui mudeleid kasutatakse otsuste tegemisel või teabe vahendamisel. Bakalaureusetöö eesmärk on tuvastada tegurid, mis on seotud suurte keelemudelite genereeritud vastuste kvaliteediga allikapõhistes generatiivsetes süsteemides ja kuidas nad seda mõjutavad. Töö raames valiti kolm vastuse kvaliteedi hindamise mõõdikut ning mõõdeti nende väärtused, et hinnata kolme suure keelemudeli genereeritud vastuseid. Nende analüüsimiseks kasutati logistilist ja beetaregressiooni. Regressioonimudelitest tuli välja, et peamiselt on seotud vastuse kvaliteet küsimuse esitusviisiga ja kõige paremad vastused saavad täispikad küsimused. Samuti leiti, et kolmest uuritavast suurest keelemudelist andis kõige paremad vastused GPT-4o. Tulemused on kasutavad praktikas vestlusrobotite loomisel, mis tuginevad allikapõhistele generatiivsetele rakendustele.
Märksõnad
SKM, beetaregressioon, logistiline regressioon, LLM, beta regression, logistic regression