Goal-Setting in Primary School with LLM Personalised Feedback: A Pilot Study

Abstract

Taust: Eesmärkide seadmine on algkoolis enesereguleeritud õppimise (SRL) ja metakognitiivse arengu keskne komponent. Suured keelemudelid (LLM-id) pakuvad uusi võimalusi vahetu ja isikupärastatud tagasiside andmiseks, mis võiks neid oskusi toetada, kuid nende mõju hindamine koolikeskkonnas nõuab praktilisi ja usaldusväärseid mõõdikuid. Eesmärk: See pilootuuring uuris, kas lihtsad ja kergesti kogutavad indikaatorid – näiteks teksti pikkus, enesehindamise tulemused ja sisendi sarnasus – suudavad tuvastada mustreid, mis viitavad paremale refleksioonile ja SRL-ile olukorras, kus õpilased saavad LLM-põhist tagasisidet oma õppe- ja käitumiseesmärkide kohta. Meetodid: 31 õpilast vanuses 10–13 osales kuue nädala pikkuses korduvate läbilõigete uuringus, kasutades spetsiaalselt loodud veebirakendust. Õpilased määrati juhuslikult testgruppi (LLM-tagasiside GPT-4o kaudu) või kontrollgruppi (ilma tagasisideta). Iganädalased eesmärkide seadmise ja edusammude hindamise sisendid analüüsiti sõltumatute valimite t-testide, Kolmogorovi–Smirnovi testide ja kirjeldava statistika abil. Eksperimendijärgsed intervjuud õpilaste ja õpetajatega pakkusid kvalitatiivset lisakonteksti. Tulemused: Testgrupp esitas üldiselt pikemaid eesmärgipüstitusi ja edusammude hindamisi ning andis veidi kõrgemaid enesehinnanguid iganädalastele edusammudele. Ühe sessiooni puhul oli edusammude hinnangute pikkuse erinevus statistiliselt oluline testgrupi kasuks; teistes sessioonides esines sarnane, kuid statistiliselt mitteoluline muster. Leksikaalse või semantilise sarnasuse osas olulisi erinevusi ei leitud. Kvalitatiivsed tulemused näitasid, et nii õpilased kui ka õpetajad pidasid LLM-tagasisidet motiveerivaks ja kasulikuks. Järeldused: Lihtsad indikaatorid näitasid mustreid, mis viitavad põhjalikumale refleksioonile LLM-tagasiside toel, kuid statistiline olulisus jäi harvaks, tõenäoliselt väikese valimi, kontrollgrupi suure väljalangevuse ja mõõdikute piirangute tõttu. Uuring toetab lihtsate mõõdikute kasutamist esmaste signaalidena ning rõhutab vajadust kasutada longituudset uuringudisaini, täpsemaid refleksiooni kvaliteedi mõõdikuid ning suuremaid ja esinduslikumaid valimeid edasistes uuringutes ja rakendustes.