Graafiliste ülesannete automaatkontroll programmeerimise vaba juurdepääsuga e-kursuste raames

Date

2017

Journal Title

Journal ISSN

Volume Title

Publisher

Abstract

Programmeerimisülesannete automaatne kontrollimine on vaba juurdepääsuga e-kursuste ehk MOOCide (Massive Open Online Course) juures hädavajalik suure hulga esitatud lahenduste tõttu. Ülesannete nõuded peavad olema detailselt sõnastatud, et neid oleks võimalik automaatselt kontrollida. Väga täpsed nõuded ülesannetele piiravad jällegi nende loomingulisust. Probleemi leevendamiseks loodi antud lõputöö raames süsteem, mis suudab automaatselt hinnata programmeerimisalaste ülesannete graafilist väljundit, kasutades pildituvastust (image recognition). Süsteemi rakendatakse algajatele mõeldud programmeerimisalaste ülesannete puhul, mille lahenduseks on soovitud objekti graafilise väljundiga programmid. Lahendusprogrammist genereeritud pilti analüüsitakse pildituvastusega, mille tulemuseks on arv, mis näitab tõenäosust, et soovitud objekt oleks pildil. Esitus on arvestatud või mittearvestatud vastavalt eelmainitud tõenäosusele. Valminud süsteemi testiti MOOCi peal, täpsemini 2272 esitatud lahenduse peal. 4.6% tulemustest olid valenegatiivsed ning 0.5% tulemustest valepositiivsed. Kursuse jooksul läbi viidud vaheküsitlusest selgus, et 82.1% vastanute arvates töötas süsteem hästi või väga hästi ning keskmine hinnang süsteemile 5 palli skaalal oli 4.4.
Automatic assessment of programming tasks in MOOCs (Massive Open Online Courses) is essential due to the large number of submissions. However, this often limits the scope of the assignments since task requirements must be strict for the solutions to be automatically gradable, reducing the opportunity for solutions to be creative. In order to alleviate this problem, we introduce a system capable of assessing the graphical output of a solution program using image recognition. This idea is applied to introductory computer graphics programming tasks which solutions are programs that produce images of a given object on the screen. The image produced by the solution program is analysed using image recognition, resulting in a probability of a given object appearing in the image. The solution is accepted or rejected based on this score. The system was tested in a MOOC on 2,272 solution submissions. The results contained 4.6% cases of false negative and 0.5% cases of false positive grades. A participant survey revealed that the system was perceived to be functioning well or very well by 82.1% of the respondents, with an average rating of 4.4 out of 5.

Description

Keywords

Citation