Automated Grading System: The DevOps course Use Case

Abstract

Automatiseeritud hindamissüsteemide (edaspidi AGS) eesmärk on automatsieerida korduvaid ülesandeid, nagu kodutööde hindamine. AGS-i aitab aega säästa ning vähendada inimviga hindamisprotsessis. Hetkeseisuga (mai 2024), toimub hindamine manuaalselt kuvatõmmiste, tekstide, programmijuppide ja IT süsteemide analüüsimise ning tagasisidestamisena. Selle tagajärjeks on probleem, kus iga kodutöö käsitsi hindamine kulutab tohutult aega ning on toob sisse võimaluse inimveaks. Lõputöö eesmärgiks on luua automaathindamissüsteem, millele saab luua automaatteste, Tartu Ülikooli kursusele "DevOps: tarkvara tarnimise ja käituse automatiseerimine"(LTAT.06.015), kus kodutööd on üldiselt infotehnoloogia (IT) süsteemide kujul. Automaathindaja töö on kasutada neid automaatteste, et anda kodutöödele koheselt tagasisidet, õppejõu minimaalse sekkumisega. Loodud süsteem suudab automaatselt hinnata kõnealusel oleva kursuse kodutöid kasutades ettekirjutatud teste. Probleem on lahendatud, kuna süsteemile tuleb ühe korra kirjutada testid ning seejärel kontrollib see iseseisvalt, kas kodutööd on korrektselt lahendatud või mitte. Lisaks sellele, et süsteem suudab automaatselt kontrollida tudengite lahendusi, teeb ta seda väga palju kiiremini kui inimene. Tulemuse näitena, kui algselt läks 1. kodutöö hindamisele õppejõul 5-10 minutit, siis loodud süsteem teeb seda sekunditega.