TARTU ÜLIKOOL Arvutiteaduse instituut Informaatika õppekava Sten Vaher Õpilaste lahendusprotsessi analüüsimine Thonny logifailide abil Bakalaureusetöö (9 EAP) Juhendaja: Heidi Meier, MSc   Õpilaste lahendusprotsessi analüüsimine Thonny logifailide abil Lühikokkuvõte: Programmeerimise õppimine on protsess, mille puhul õpetajal ei ole võimalik teada, kuidas õpilane oma teadmisi omandab.

Thonny on programmeerimiskeskkond, mis salvestab ülesande lahenduskäigu logifaili ning MOOC-i „Programmeerimise alused“ käigus koguti õpilaste arvestusülesannete lahenduskäigu logifailid .

Logifailidest on võimalik näha iga õpilase lahendusprotsessi, mille uurimine võib anda õpetajatele täpsemaid juhtnööre õpilaste edaspidiseks õpetamiseks.

Võtmesõnad: Thonny, logifailid , Python, õppeprotsess, analüüs, MOOC CERCS: Analysis of student learning process using Thonny log files Abstract: The process of studying programming is a process at which the teachers are unable to know how the student acquires their knowledge.

Õpilaste lahendusprotsessi analüüs Thonny logifailide põhjal 9 3.1 Thonny logifailides sisalduv informatsioon 9 3.1.1 Üldiselt kirjete lugemisest 9 3.1.2 Programmikoodiga seotud kirjed 9 3.1.3 Programmi käivitamisega seotud kirjed 11 3.1.4 Failidega seotud kirjed 13 3.2 Õpilaste lahendusprotsessi analüüs 14 3.2.1 Ülesande püstitus 14 3.2.2 Põhilised lahendusprotsessid 17 3.2.3 Analüüs 21 3.3 Muutused, mida tulevikus võiks teha 21 Kokkuvõte 22 Viidatud kirjandus 23 Lisad 24 I. Terminid 24 II.

Thonny puhul on väga oluliseks õpetamist parandavaks funktsionaalsuseks see, et Thonny koostab programmi kirjutamise jooksul kasutaja poolt tehtud tegevustest logifaili .

Seega logifailis kajastub informatsiooni kogu ülesande lahenduse käigust ning selle hilisem uurimine annab ülevaate õpilaste lahenduskäikude erinevustest.

Varasemalt on Thonny logifailide uurimisel kirjutatud erinevaid bakalaureuse ja magistritöid, mille käigus on loodud uurimist lihtsustavaid programme ja analüüsimise meetodeid.

Magistritöödes on uuritud õpilaste käitumismustreid [1] ja bakalaureuse tööde raames on loodud programme, mis analüüsivad logifailide sisu [2] [3] ning ka programme, mis korrastavad logifaile , ehk mis pakib lahti tuntumaid arhiivi formaate ning seob kokku Thonny poolt lahku löödud ülesannete lahendusi [4].

Samuti vaadeldakse programmeerimiskeskkonda Thonny ja varasemaid uuringuid, mille peamine rõhk on just logifailide läbitöötlemisel.

Antud olukorra lahendamiseks kogutaksegi lahenduste kohta logifaile , mille uurimisega hakkamegi tegelema.

Antud bakalaureusetöö põhineb 2018. aasta MOOC-i „Programmeerimise alused“ arvestustööde logifailide uurimisel, seega tehakse järgnevalt kiirülevaade Tartu Ülikoolis sarnaste MOOC-de kohta.

Samuti käsitletakse, millised valikud tehti töödeldavate logifailide leidmiseks.

Bakalaureusetöös kasutati Thonny logifaile , mis pärinesid Tartu Ülikooli „Programmeerimise alused“ MOOC-i õpilastelt.

Kõik õpilased, kes kasutasid antud ülesande lahendamiseks Thonnyt, pidid esitama logifailid ning ülejäänud õpilastel tuli esitada kirjalik selgitud ülesande raskuse kohta.

Analüüsitava tulemuseni jõudmiseks kõigepealt muudeti zip-failid, mis sisaldasid logifaile anonüümsemaks.

Seejärel hakati läbi töötama kõiki 789 õpilase logifaile .

Selleks, et välja töötada protsessi logifailide läbitöötamiseks, oli tarvis enne tutvuda logifailide sisu ning varasemalt tehtud sarnaste töödega.

Algse plaani järgi taheti kasutada varasema aasta jooksul Thonny logifailide läbitöötamise lihtsustamiseks valmistatud programme.

Antud programmi tööks oli välja uurida logis tehtud vigade arv ning nende sisu, käivitamiste arv nii veateatega kui ilma ja kleepimiste arv koos kleebitud teksti sisuga.

Nimelt „Sai ülesande lahendatud“ negatiivseks ainult juhtudel, mil õpilane ei saanud lahenduse lõpuks veateadetest lahti.

Samuti jälgiti läbitöötamisel erinevate veateadete esinemist ning need järjestati tüüpide esinemissageduse järgi.

3.1.3 Programmi käivitamisega seotud kirjed Programmi käivitamisega tekivad mitmed erinevad kirjed, mis põhiliselt jagunevad kolmeks: käivitamise kirje, veateade , käsureale kuvatav vastus.

Pärast käivitamisprotsessi jaguneb käivitamine kaheks: õnnestunud ja veateatega lõppev.

Õnnestunud käivitamise juures veateadet ei teki ning käsureal jooksutatakse programm vastavalt kirjas olevatele juhistele.

Samas ebaõnnestunud käivitamise korral, tekib programme jooksutamisel veateade .

Töö käigus tuli ette 12 erinevat tüüpi veateadet , kuid logides on nende üldine struktuur väga saranane.

Programmi jooksutamisel saame teada, et on esinenud veateade , kui käsureale tekib „TextInsert“ tüüpi kirje, mille võti „tags“ sisaldab „stderr“ sõnet.

Veateate sisu on toodud välja viimases JSON kirjes võtmele „text“ vastavas väärtuses.

Selles veateates on kaasas oluliste elementidena „text_widget_class“, mis ütleb, et tekst tuleb lisada käsureale ja „index“, mis ütleb kuhu käsureal see minema peab.

Teine moodus veateate tuvastamiseks on see, kui tekib kirje, mille „tags“ võtmele vastab „error“ sõne sisaldav väärtus.

Veateate keskmiste kirjete puhul on välja toodud täpsemalt vea asukohta täpsustav informatsioon.

Samas peamine miinus oli õpilastel objektitüüpide mittetundmine ning tihtilugu pärast vea saamist, läks selle parandamisega kaua aega, kuna ei osatud veateadetega probleemi asukohta määratleda.

Seejärel aga selgus, et kirjutatud koodis on vead ning hakkas neid veateadete põhjal ära parandama.

Antud õpilane käivitas programmi 239 korda, millest 140 lõppesid veateatega .

Testis jooksvalt Ei testinud jooksvalt Koos Töid 190 119 309 Keskmine vigade arv 33.342 10.252 24.450 Keskmine lahendusaeg 2:51:06 1:14:30 2:13:54 Testis jooksvalt(%) - - - Kasutas silurit (%) 32.63% 15.13% 25.89% Sai ülesande lahendatud (%) 97.37% 100.00% 98.38% Kasutas teist ülesannet (%) 51.05% 17.65% 38.19% Kirjutas suurte juppide kaupa (%) 10.00% 99.16% 44.34% Keskmine käivitamiskordade arv 57.316 17.571 42.010 Keskmine veateatega lõppevate käivitamiste arv 31.468 9.790 23.120 Keskmine kleepimiste arv 14.563 5.546 11.091 Kõige suurem erinevus jooksvalt testimise ja mittetestimise vahel tuli välja keskmise käivitamise kordade vahel.

Tundub, et kui õpilane oskas valmis kirjutada suure osa koodist ja lahendamine ei võtnud üleliia kaua aega, pidi tal olema piisavalt hea arusaam koodikirjutamisest, et veateadete abiga kõik tööle saada.

Õpilaste lahendusprotsessi analüüs Thonny logifailide põhjal 9 3.1 Thonny logifailides sisalduv informatsioon 9 3.1.1 Üldiselt kirjete lugemisest 9 3.1.2 Programmikoodiga seotud kirjed 9 3.1.3 Programmi käivitamisega seotud kirjed 11 3.1.4 Failidega seotud kirjed 13 3.2 Õpilaste lahendusprotsessi analüüs 14 3.2.1 Ülesande püstitus 14 3.2.2 Põhilised lahendusprotsessid 17 3.2.3 Analüüs 21 3.3 Muutused, mida tulevikus võiks teha 21 Kokkuvõte 22 Viidatud kirjandus 23 Lisad 24 I. Terminid 24 II.

Esmalt on sellest kirjutanud Pedel, kes jagas Thonny logifailidest saadava informatsiooni viieks: Thonny programmiaknaga seotud kirjed , programmikoodiga seotud kirjed , failidega seotud kirjed , programme käivitamisega seotud kirjed , käskudega seotud kirjed [2].

Pedeli töö käigus tehtud klassifikatsiooni kasutas ka kaks aastat hiljem Meier, kes oma töös jälgis põhiliselt programmikoodi ja käivitamisega seotud kirjeid [1].

Selles bakalaureusetöös süvenetakse Pedeli klassifikatsiooni järgi samuti programmikoodiga seotud kirjetele ja programmi käivitamisega seotud kirjetele , kuid lisaks kasutatakse ka väikesel määral failidega seotud kirjeid .

3.1.1 Üldiselt kirjete lugemisest Kuna Thonny kasutab oma logifailide kirjutamisel JSON andmevahetusvormingut, koosneb logifaili sisu loogelistes sulgudes olevatest võti-väärtus paaridest, mis on omavahel eraldatud komadega.

Tänu iga kirje puhul aja märkimisele niivõrd sügavalt, on võimalik logi kirjed panna kronoloogilisse järjekorda, millega omakorda saab kogu kasutaja seansi taasesitada.

3.1.2 Programmikoodiga seotud kirjed Peamised programmikoodiga seotud tegevused jagunevad kaheks: sisestamine ja kustutamine.

Programmikoodi käsitsi sisestamise puhul tekib JSON kirje , mille “sequence” väärtus on TextInsert.

Antud kirje koosneb 7 võti-väärtus paarist, milles võti “index” näitab teksti sisestamise asukohta kujul reanumber ja elemendi asukoht punktiga eraldatuna.

Teksti kleepimisel tekib logisse kaks erinevat JSON tüüpi kirjet .

Esimene nendest on TextInsert, mille sisu oleme varasemalt lahti seletanud ning teise kirje võtmele „sequence“ vastab „<>“ ning selle kirje olemasolu puhul saamegi teada, et tegu on kleepimisega.

Mõlemad loodud kirjed on omavahel seotud sellega, et nende ajatemplid on täpselt samad.

Teine suurem klass kirjeid , mis on seotud programmikoodiga hõlmab teksti kustutamise protsessi.

Kustutamise kirjed saab samuti eristada asukoha järgi, ehk siis kirjed , mis sisestatakse programmi tekstialasse ja need, mis sisestatakse käsureale.

Vastupidiselt „TextInsert“ kirjega , ei ole tarvis kustutamisel „tags“ välja, kuna programmi töö tulemusena kunagi ühtegi rida ei kustutata.

Ülejäänud väljad väärtustatakse sarnaselt „TextInsert“ kirjetele .

3.1.3 Programmi käivitamisega seotud kirjed Programmi käivitamisega tekivad mitmed erinevad kirjed , mis põhiliselt jagunevad kolmeks: käivitamise kirje , veateade, käsureale kuvatav vastus.

Kõige esimene kirje , mis tekib programme jooksutamisel on uus TextInsert kirje , mille puhul võtmele “text” vastab asub käivitatava faili asukoht, selle kirjega käib kaasas umbes 6 erinevate programme jooksutamiseks vajalikku JSON kirjet , millest kõige olulisem on viimane programmijupi käivitamise kirje , mida on näha joonisel 6.

Programmi jooksutamisel saame teada, et on esinenud veateade, kui käsureale tekib „TextInsert“ tüüpi kirje , mille võti „tags“ sisaldab „stderr“ sõnet.

Uuritavad logid on MOOC-i arvestusülesanne 8.1 lahendused.

Kokku oli uurimise all 789 õpilase logid .

Kuid kuna ühe logi läbitöötamisele kulus umbes 10 minutit aega, siis vähendati töö käigus läbitöötatud faile poole võrra.

Esimene nendest oleks võinud olla V. Tõnissoni bakalaureusetöö raames koostatud programm, mis peaks hõlbustama logifailide läbitöötamist, kus ühes logis on mitme erineva ülesande lahendused.

Antud programmi tööks oli välja uurida logis tehtud vigade arv ning nende sisu, käivitamiste arv nii veateatega kui ilma ja kleepimiste arv koos kleebitud teksti sisuga.

Selle leidmiseks tuli käsitsi läbi töötada mitu logi enne, kui oli võimalik kindlaks teha, kust lahendusprotsess alguse sai.

Logidest leiab informatsiooni peaaegu iga lahendaja poolt tehtud nupuvajutuse kohta ning need on üles märgitud kasutades programmeerimiskeelest sõltumatut andmevahetusvormingut JSON (inglise keeles JavaScript Object Notation).

Tänu iga kirje puhul aja märkimisele niivõrd sügavalt, on võimalik logi kirjed panna kronoloogilisse järjekorda, millega omakorda saab kogu kasutaja seansi taasesitada.

Teksti kleepimisel tekib logisse kaks erinevat JSON tüüpi kirjet.

Töö käigus tuli ette 12 erinevat tüüpi veateadet, kuid logides on nende üldine struktuur väga saranane.

Täpsem programmi töö logides ei kajastu.

Pärast faili avamist, tekib logisse „TextDelete“ ja „TextInsert“ kirjete kombinatsioon, mille tulemusena sisestatakse programmi faili sisu.

Kui Thonny on avatud, siis pange see kinni (siis tekib viimane logi ).

Sealt valige logid , mille failinimi on seotud antud ülesandega.

Kui Thonny on avatud, siis pange see kinni (siis tekib viimane logi ).

Tools&#39;i alt leiate Export usage logs, mis pakib logid zip-failiks kokku.

Kui Thonny on avatud, siis pange see kinni (siis tekib viimane logi ).

thonny kaust sisaldab kausta User_logs, kuhu on salvestatud Thonny logid .. 7.

Sealt valige logid , mille failinimi on seotud antud ülesandega.

Iga uue programmi puhul on “text_widget_id” erinev, kuid saadud numbriga käib kaasas peamiselt kaks erinevat “text_widget_class” väärtust: “CodeViewText” ja “ShellText”, mis vastavalt kirjeldavad, kas tegu on programmiaknasse või käsureale kirjutatud tekstiga.

Võtme „tags“ väärtus on oluline, kui väärtus sisestatakse käsureale .

Nimelt jagunevad käsureale sisestatud andmed kaheks, need mille sisestab kasutaja „stdin“ ja need mille sisestab programm ise, pärast seda kui kasutaja oma programmi jooksutab „stdout“.

Kustutamise kirjed saab samuti eristada asukoha järgi, ehk siis kirjed, mis sisestatakse programmi tekstialasse ja need, mis sisestatakse käsureale .

3.1.3 Programmi käivitamisega seotud kirjed Programmi käivitamisega tekivad mitmed erinevad kirjed, mis põhiliselt jagunevad kolmeks: käivitamise kirje, veateade, käsureale kuvatav vastus.

Õnnestunud käivitamise juures veateadet ei teki ning käsureal jooksutatakse programm vastavalt kirjas olevatele juhistele.

Õnnestunud käivitamise lõpetab käsureale teksti “>>>” sisestamine, kuna tegu on tekstiga, mis on Thonny käsurea alguses juhul, kui programm on ootel.

Programmi jooksutamisel saame teada, et on esinenud veateade, kui käsureale tekib „TextInsert“ tüüpi kirje, mille võti „tags“ sisaldab „stderr“ sõnet.

Selles veateates on kaasas oluliste elementidena „text_widget_class“, mis ütleb, et tekst tuleb lisada käsureale ja „index“, mis ütleb kuhu käsureal see minema peab.

Thonny nagu ka enamik teisi redaktoreid kirjutab saadud vastuse käsureale .

Sellise kirjutamise puhul on tegu alampeatükis 3.1.2 käsitletud „TextInsert“ käsuga, mille puhul „text_widget_class“ on „ShellText“ ehk kirjutatakse käsureale ja võtmele „tags“ vastab „stdout“, ehk kirjutatu tuleb programmist endast.

Varasemalt on Thonny logifailide uurimisel kirjutatud erinevaid bakalaureuse ja magistritöid, mille käigus on loodud uurimist lihtsustavaid programme ja analüüsimise meetodeid.

Uurimistöös analüüsitakse varasemate uurimistööde baasil 2018. aasta MOOC-i „Programmeerimise alused“ õppijate arvestusülesande lahendusprotsessi, mille korrastamiseks ja analüüsimiseks kasutatakse varasemalt loodud programme [3] [4] ja täiendame neid vastavalt vajadusele.

Õpilaste protsessi grupeerimiseks kasutame varasemalt magistritöö käigus loodud grupeerimisaluseid [1].

Selleks, et välja töötada protsessi logifailide läbitöötamiseks, oli tarvis enne tutvuda logifailide sisu ning varasemalt tehtud sarnaste töödega.

Pärast käsitsi analüüsi lõpetamist, pidi läbi töötatud logifaili sisestama varasemalt bakalaureusetööna tehtud analüsaatorisse.

Thonny logifailides sisalduvat informatsiooni on varasemalt käsitletud mitmetes Tartu Ülikooli lõputöödes.

Redaktorisse koodi sisestamiseks on omakorda kaks võimalust: programmikoodi saab klaviatuurilt sisestada või saab kleepida juba varasemalt kirjutatud koodi.

Esimene nendest on TextInsert, mille sisu oleme varasemalt lahti seletanud ning teise kirje võtmele „sequence“ vastab „<>“ ning selle kirje olemasolu puhul saamegi teada, et tegu on kleepimisega.

Kirjega käivad kaasas mitmed varasemalt tuntud väljad.

Kuid nagu varasemalt mainitust võis eeldada, sai lahendaja kohe süntaksi vea.

Uuesti avamisel tekkis sama võrdluse viga nagu varasemalt mainitud.

Nüüd avab õpilane varasemalt tehtud ülesandeid, et oma veast aru saada.

Õpilaste lahendusprotsessi analüüs Thonny logifailide põhjal 9 3.1 Thonny logifailides sisalduv informatsioon 9 3.1.1 Üldiselt kirjete lugemisest 9 3.1.2 Programmikoodiga seotud kirjed 9 3.1.3 Programmi käivitamisega seotud kirjed 11 3.1.4 Failidega seotud kirjed 13 3.2 Õpilaste lahendusprotsessi analüüs 14 3.2.1 Ülesande püstitus 14 3.2.2 Põhilised lahendusprotsessid 17 3.2.3 Analüüs 21 3.3 Muutused, mida tulevikus võiks teha 21 Kokkuvõte 22 Viidatud kirjandus 23 Lisad 24 I. Terminid 24 II.

Esmalt on sellest kirjutanud Pedel, kes jagas Thonny logifailidest saadava informatsiooni viieks: Thonny programmiaknaga seotud kirjed, programmikoodiga seotud kirjed, failidega seotud kirjed, programme käivitamisega seotud kirjed, käskudega seotud kirjed [2].

Pedeli töö käigus tehtud klassifikatsiooni kasutas ka kaks aastat hiljem Meier, kes oma töös jälgis põhiliselt programmikoodi ja käivitamisega seotud kirjeid [1].

Selles bakalaureusetöös süvenetakse Pedeli klassifikatsiooni järgi samuti programmikoodiga seotud kirjetele ja programmi käivitamisega seotud kirjetele, kuid lisaks kasutatakse ka väikesel määral failidega seotud kirjeid.

3.1.2 Programmikoodiga seotud kirjed Peamised programmikoodiga seotud tegevused jagunevad kaheks: sisestamine ja kustutamine.

Redaktorisse koodi sisestamiseks on omakorda kaks võimalust: programmikoodi saab klaviatuurilt sisestada või saab kleepida juba varasemalt kirjutatud koodi.

Programmikoodi käsitsi sisestamise puhul tekib JSON kirje, mille “sequence” väärtus on TextInsert.

Seda tüüpi õpilaste peamiseks probleemiks olid samuti objektitüüpide vead, kuid lisaks tehti ka palju vigu süntaksiga, kuna jooksvalt ei testitud kõiki kirjutatud koodijuppe.

Õpilased, kes testisid jooksvalt , alustasid oma testimist enne for-tsükli kirjutamist, ehk siis funktsiooni või faili sisse lugemise ajal.

Allolevas tabelis on näha uuritavate parameetrite tulemusi õpilaste vahel, kes alustasid testimist ülesande alguses ja jätkasid jooksvalt ja nende vahel, kes alustasid testimist hiljem.

Testis jooksvalt Ei testinud jooksvalt Koos Töid 190 119 309 Keskmine vigade arv 33.342 10.252 24.450 Keskmine lahendusaeg 2:51:06 1:14:30 2:13:54 Testis jooksvalt (%) - - - Kasutas silurit (%) 32.63% 15.13% 25.89% Sai ülesande lahendatud (%) 97.37% 100.00% 98.38% Kasutas teist ülesannet (%) 51.05% 17.65% 38.19% Kirjutas suurte juppide kaupa (%) 10.00% 99.16% 44.34% Keskmine käivitamiskordade arv 57.316 17.571 42.010 Keskmine veateatega lõppevate käivitamiste arv 31.468 9.790 23.120 Keskmine kleepimiste arv 14.563 5.546 11.091 Kõige suurem erinevus jooksvalt testimise ja mittetestimise vahel tuli välja keskmise käivitamise kordade vahel.

Kuna leidus õpilasi, kes kirjutasid koodi täies ulatuses valmis ja testisid ainult lõpus, et kas programm töötab või mitte, on ka mitte jooksvalt testivate õpilaste keskmine käivitamiste arv ainult 8.9 käivitamist ja keskmine vigade arv 4.8, samal ajal kui testijate grupi keskmine käivitamiste arv oli 20.2 ja keskmine vigade arv 9.4.

Samas jooksvalt testimise korral tegid ka õpilased rohkem vigu, kuna tõenäoliselt ei keskendunud nad enam piisavalt koodi sisule.