AI-vestlusrobotite kvaliteedi hindamine vastamisel patsientide enim levinud küsimustele lateraalse epikondüliidi kohta

Abstract

Eesmärk: Käesoleva magistritöö eesmärk oli hinnata ja võrrelda kolme suure keelemudeli (Gemini mudel 3, ChatGPT 5.3 ja Claude Sonnet 4.6) kvaliteeti patsientide enim levinud lateraalset epikondüliiti käsitlevatele küsimustele vastamisel. Hindamisel lähtuti vastuste täpsusest, loetavusest ja lahtiütluste esinemisest. Metoodika: Magistritöös kasutati lateraalse epikondüliidi teemalise küsimustiku koostamiseks Delphi konsensusmeetodit. Küsimused esitati kolmele suurele keelemudelile (Gemini mudel 3, ChatGPT 5.3 ja Claude Sonnet 4.6), mille vastuseid hinnati täpsuse, loetavuse ja lahtiütluste esinemise alusel. Vastuste täpsust võrreldi kolme rahvusvahelise ravijuhendiga (JOSPT, BESS ja Sports Medicine). Vastused klassifitseeriti nõrkadeks, mõõdukateks ja tugevateks ravisoovitusteks või ebakorrektseteks vastusteks. Loetavust hinnati Flesch Reading Ease Score’i (FRES) abil ning lahtiütluste olemasolu binaarsel jah/eiskaalal. Tulemused: Vastuste täpsuse hindamisel osutus ChatGPT 5.3 kõige täpsemaks mudeliks: ebakorrektseid vastuseid esines vaid 6% juhtudest ning tugevaid ravisoovitusi anti 20% vastustes. Claude andis ebakorrektseid vastuseid 8% juhtudest, Gemini mudel 3 aga 26% juhtudest. Loetavuse hindamisel sai ChatGPT 5.3 kõrgeima keskmise FRES tulemuse (66), mis vastab 8.-9. klassi lugemisoskusele. Gemini (56,5) ja Claude (58,4) vastused eeldasid vähemalt gümnaasiumitasemel lugemisoskust. Lahtiütluste osas esitas Claude 8 lahtiütlust 35 vastusest, Gemini 2 lahtiütlust, samas kui ChatGPT 5.3 ei esitanud ühtegi lahtiütlust. Kokkuvõte: Uuringu tulemused näitasid, et suurte keelemudelite vastuste täpsus erines mudelite lõikes märkimisväärselt. ChatGPT 5.3 oli käesolevas magistritöös hinnatud mudelitest täpseim ja paremini loetav lateraalse epikondüliidi teemalise teabe edastamisel. Siiski ei suutnud ükski hinnatud mudel anda kõigis olukordades täielikult korrektseid vastuseid. ChatGPT 5.3 vastustes lahtiütluste täielik puudumine võib kliinilises kontekstis olla probleemne. Tulemused viitavad, et LLM-id võivad toimida terviseinfo täiendava allikana ja toetada tervishoiuspetsialistide tööd, kuid praegu ei ole need võimelised spetsialisti asendama.