A multi-stakeholder framework for comparable and repeatable security level evaluation in organizations

Abstract

Tänapäeva digiühiskonnas on kõik omavahel seotud. Ühe teenuseosutaja turvaintsident võib kaskaadina levides kahjustada nii ühiskonna kui ka majanduse toimimist. Selliste intsidentide mõju vältimiseks kehtestas Euroopa Liit NIS2 direktiivi, mis nõuab kõigis liikmesriikides ühtlaselt kõrget küberturvalisuse taset. Tuhanded erineva digiküpsusega teenuseosutajad peavad nüüd rakendama direktiiviga nõutavaid riskihaldusmeetmeid. Samal ajal vajavad riigiasutused, järelevalve, poliitikakujundajad, tarnijad ja konsultandid oma tööks ajakohast ülevaadet organisatsioonide turvaseisundist. See on tekitanud olukorra, kus eri osapooled küsivad ja töötlevad organisatsioonide samu turvaandmeid korduvalt, koormates sellega liialt nii teenuseosutajaid, nende partnereid kui ka riigiasutusi. Doktoritöö pakub lahendusena turvataseme hindamise raamistiku F4SLE. See võimaldab lisaks organisatsiooni turvataseme hindamisele luua sektoripõhiseid võrdlusi ja rahuldada NIS2 erinevate osapoolte vajadusi. Madal sisenemisbarjäär, vastavus standarditele ja hierarhiline ülesehitus muudavad enesehindamise jõukohaseks ka madala digiküpsusega organisatsioonidele, arvestades samal ajal turvaandmete konfidentsiaalsusnõuetega. Et tagada tulemuste võrreldavus ka ohtude ja standardite muutudes, tutvustatakse töös MUSEi – meetodit hindamisvahendite ajakohastamiseks nii, et säiliks uute ja vanade tulemuste võrreldavus. F4SLE kasutatavust valideeriti ligi 300 Euroopa Liidu ja Kesk-Ameerika teenuseosutaja andmetel. Lisaks testiti raamistiku võimekust täita NIS2-põhiseid kasutuslugusid erinevatele sidusrühmadele, järgides andmete üks kord kogumise ja korduvalt kasutamise põhimõtet.In today’s digital society, everything is interconnected. A security incident at a single service provider can cascade and disrupt society and the economy. To prevent such crises, the European Union introduced the NIS2 Directive, requiring a high common level of cybersecurity across all member states. Thousands of service providers with varying levels of digital maturity must now implement the risk management measures required by the NIS2 Directive. Simultaneously, state authorities, supervisors, policymakers, suppliers, and consultants all need an up-to-date overview of the security situation to perform their duties. This has created a situation where security data is collected from organizations multiple times by different stakeholders. This repetitive data collection increases the administrative burden on both service providers, their partners, and state agencies. The doctoral thesis provides a solution by developing the Framework for Security Level Evaluation (F4SLE). Beyond evaluating an organization’s security level, F4SLE enables sector-based comparison and addresses the diverse needs of NIS2 stakeholders. Its low entry barrier, compliance with standards, and hierarchical structure make self-assessment accessible even for organizations with low digital maturity, while ensuring compliance with privacy requirements. Furthermore, to ensure results remain comparable as threats and standards evolve, the thesis introduces MUSE, a method for updating evaluation instruments without losing the ability to compare new results with previous versions. The usability of F4SLE was validated by nearly 300 service providers from the EU and Central America. Additionally, the framework’s ability to satisfy NIS2-based user stories for various stakeholders was tested, proving the principle of “collect data once, use it many times.