Kolde, Anastassia, juhendajaSügis, Elena, juhendajaPihl, PiretTartu Ülikool. Matemaatika ja statistika instituutTartu Ülikool. Loodus- ja täppisteaduste valdkond2025-06-272025-06-272025https://hdl.handle.net/10062/111729Viimasetel aastatel on suured keelemudelid leidnud laialdast kasutust erinevates rakendustes - alates vestlusrobotitest klienditeeninduses kuni rakendusteni tervishoiu valdkonnas. Kuigi nende populaarsus ja kasutusvõimalused on kiiresti kasvanud, ei ole iseenesestmõistetav, kuidas hinnata keelemudelite genereeritud vastuste kvaliteeti ning tagada nende usaldusväärsus. See on kriitilise tähtsusega , eriti kui mudeleid kasutatakse otsuste tegemisel või teabe vahendamisel. Bakalaureusetöö eesmärk on tuvastada tegurid, mis on seotud suurte keelemudelite genereeritud vastuste kvaliteediga allikapõhistes generatiivsetes süsteemides ja kuidas nad seda mõjutavad. Töö raames valiti kolm vastuse kvaliteedi hindamise mõõdikut ning mõõdeti nende väärtused, et hinnata kolme suure keelemudeli genereeritud vastuseid. Nende analüüsimiseks kasutati logistilist ja beetaregressiooni. Regressioonimudelitest tuli välja, et peamiselt on seotud vastuse kvaliteet küsimuse esitusviisiga ja kõige paremad vastused saavad täispikad küsimused. Samuti leiti, et kolmest uuritavast suurest keelemudelist andis kõige paremad vastused GPT-4o. Tulemused on kasutavad praktikas vestlusrobotite loomisel, mis tuginevad allikapõhistele generatiivsetele rakendustele.etAttribution-NonCommercial-NoDerivs 3.0 Estoniahttp://creativecommons.org/licenses/by-nc-nd/3.0/ee/SKMbeetaregressioonlogistiline regressioonLLMbeta regressionlogistic regressionbakalaureusetöödvõrguväljaandedThesis