Järeldava analüüsi eeldustele vastavus ja statistiliste järelduste adekvaatsus valitud Haridus- ja Teadusministeeriumi tellitud rakendusuuringutes aastatel 2013–2024

Abstract

Käesoleva magistritöö eesmärk oli hinnata valitud Haridus- ja Teadusministeeriumi tellitud rakendusuuringuid, milles on kasutatud järeldavat analüüsi, metoodilist kvaliteeti, keskendudes sellele, kuivõrd on nendes täidetud järeldava statistika kasutamiseks vajalikud eeldused ning kas statistilised järeldused on esitatud selgelt ja sisukalt, võimaldades teha usaldusväärseid ja põhjendatud üldistusi. Ministeeriumite tellitud rakendusuuringutel on oluline roll avaliku poliitika ja ühiskondlike otsuste kujundamisel, mistõttu on uurimistulemuste usaldusväärsus ja üldistatavus teaduspõhise poliitikakujundamise seisukohalt kriitilise tähtsusega. Järeldava analüüsi usaldusväärsus eeldab valimi esinduslikkust, tõenäosuslikku valikut, sihtpopulatsiooni kaetust ning statistiliste näitajate, nagu p-väärtuste ja usaldusvahemike, korrektset kasutamist ja tõlgendamist. Töö teoreetiline raamistik lähtuski neid aspekte puudutavast kontseptuaalsetest alustest. Magistritöö tugineb autori varasemale bakalaureusetööle, mis tõi esile metodoloogilisi puudusi HTM-i tellitud uuringute küsitlusraportites, käesolev töö laiendab seda käsitlust, hinnates süstemaatilisemalt järeldava analüüsi eeldusi ja statistiliste järelduste esitusviise. Kontentanalüüsi meetodil analüüsiti 30 valimipõhist rakendusuuringut. Uurimuse läbiviimiseks koostati struktureeritud kodeerimisjuhend, mis võimaldas hinnata uuringuraportite metoodilist läbipaistvust ja analüütilist kvaliteeti tervikuna, kaasates nii tekstiosa kui lisad, tabelid ja joonised. Tulemused näitavad, et osades uuringutes esinevad märkimisväärsed puudused valimi koostamise kirjelduse, valimiraami, osalusmäärade ning valikumeetodite selguse osas. Samuti kasutatakse mitmel juhul mittetõenäosuslikke valimeid ilma piisava kriitilise refleksioonita, mis seab kahtluse alla järelduste üldistatavuse. Statistiliste tulemuste esituses esines probleeme nii konteksti puudumise kui ka ebapiisavate näitajatega, näiteks usaldusvahemike esitamise puudumise ja p-väärtuste liigse rõhutamisega. Antud uurimistöö pakub esmakordselt süsteemse ülevaate järeldava statistika rakendamisest ja probleemidest valitud aastatel HTM-i poolt tellitud rakendusuuringutes, kus kasutati järeldavat analüüsi. Selle töö metoodiliselt rangelt struktureeritud hinnang teeb nähtavaks levinud puudujäägid ning loob aluse paranduste planeerimiseks. Selles mõttes sarnaneb töö väärtus rahvusvaheliste püüdlustega tõsta uuringute läbiviijate ja tulemuste tarbijate teadlikkust statistiliste järelduste õigest tõlgendamisest.