Automating the assessment and feedback processes in IT teaching – improving creation and maintenance from the teaching staff perspective

Abstract

Viimastel aastakümnetel on IT (infotehnoloogia) pidevalt edasi arenenud, luues vajaduse kvalifitseeritud spetsialistide järele ja suurendades märkimisväärselt IT-haridust omandavate üliõpilaste arvu. Üliõpilaste arvu kasv suurendab aga õppejõudude töökoormust, eriti programmeerimisülesannete hindamisel ja tagasiside andmisel. See väljakutse mõjutab enim suure üliõpilaste arvuga kursusi, kus traditsiooniline käsitsi hindamine ei ole enam võimalik. Käesolev uurimistöö keskendub automatiseerimise rakendamisele, et vähendada õppejõudude töökoormust ja arendada välja süsteeme, mis lihtsustavad programmeerimiskursuste hindamis- ja tagasisideprotsessi. Väärtuslikku sisendit andsid läbiviidud intervjuud õppejõududega nende vajaduste ja ootuste kohta. Selle uurimistöö tulemusena loodi kaks uut süsteemi. Esimene süsteem kasutab pildituvastust programmeerimisülesannete automaatseks hindamiseks, mille väljund on graafilisel kujul. See lähenemine võimaldab loovamat ja paindlikumat ülesannete kirjeldust, mida varem piiras vajadus selliseid ülesandeid käsitsi hinnata. Loodud süsteemi kasutati ja tulemusi analüüsiti mitmetel programmeerimiskursustel. Loodud süsteemi tulemusena vähenes õppejõudude manuaalse töö koormus ning üliõpilased said kohest tagasisidet. Teine süsteem baseerub TSL-il (Test Specific Language), mis lihtsustab automaatkontrollide loomist ja haldamist. Süsteemil on kasutajaliides, mis muudab automaatkontrollide kasutamise kättesaadavamaks ka neile õppejõududele, kellel puuduvad tugevad tehnilised teadmised. See süsteem standardiseerib hindamisprotsessi erinevate kursuste ning ülesannete vahel. Nende süsteemide kasutuselevõtt on märkimisväärselt vähendanud õppejõudude töökoormust. Seejuures on säilitatud hindamise ja tagasiside kvaliteet. Loodud süsteemid ja uurimuse tulemused võivad olla aluseks edasisele teadustööle ja uutele arendustele. For the past few decades, IT (Information Technology) has seen continuous growth, creating a demand for skilled professionals and significantly increasing the number of students pursuing IT education. The increasing number of students brings a bigger workload on teaching staff, particularly in grading and providing feedback on programming assignments. This challenge is heavily affecting large-scale courses, where traditional manual assessment is no longer feasible. This research focuses on exploring automation to reduce the workload of the teaching staff and developing automated systems that simplify the assessment and feedback process in programming courses. First, valuable insights were gathered from interviews with the teaching staff, exploring their needs and expectations. As a result, two key systems were developed. The first system utilizes image recognition to automatically assess programming tasks with graphical outputs. This approach allows for a more creative and flexible assignment design, which was previously constrained by having to manually test these assignments. The system was tested and evaluated on multiple programming courses. As a result, this system has reduced the manual effort required from instructors and provided timely feedback to students. The second system introduces a system that utilizes Test Specific Language (TSL) that simplifies the creation and maintenance of automated assessments. The system has a user-friendly interface, which makes automated assessments more accessible to teaching staff who may not have deep technical expertise. This approach standardizes the assessment process among different courses. The implementation of these systems has shown significant results in reducing the workload on educators while maintaining the quality of assessment and feedback provided to students. The developed systems and gathered insights in this work can serve as a framework for future research and development.