Exploring Social Bias in Language Models through the Lens of Cinema

Abstract

Language models have revolutionized natural language processing, becoming an integral part of many applications. However, these models often exhibit societal biases embedded in their training data, raising concerns about their fairness and ethical deployment. Measuring these biases usually requires creating datasets with time-consuming human annotation, which is costly and hard to expand. To address this challenge, we propose a data curation framework and CineBias, a novel dataset of 1,012 stereotypical sentence pairs covering seven bias categories, extracted from Hollywood movie subtitles with minimal human intervention. We evaluate the language models BERT, RoBERTa, and ModernBERT using the CrowS-Pairs Score (CPS) on CineBias, and find bias levels comparable to established benchmarks (e.g., BERT 61.2% CPS). This shows that CineBias provides a scalable way to measure bias. We also demonstrate its applicability to low-resource languages with an Estonian case study. Keelemudelid on teinud revolutsiooni loomuliku keele töötluses ning saanud lahutamatuks osaks paljudest rakendustest. Siiski peegeldavad need mudelid sageli juba nende treeningandmetes sisalduvaid ühiskondlikke eelarvamusi, tõstatades küsimusi mudelite õiglusest ja eetilisest kasutamisest. Sotsiaalse kallutatuse mõõtmiseks loodud andmestike koostamine eeldab tavaliselt aeganõudvat inimtööd, mis on kallis ja raskesti skaleeritav. Selle probleemi lahendamiseks pakub käesolev magistritöö välja uue raamistiku ja seda järgides loodud andmestiku CineBias, mis koosneb 1012-st stereotüüpsest lausepaarist seitsmes kallutatuse kategoorias ning on kaevandatud Hollywoodi filmide subtiitritest minimaalse inimsekkumisega. Testisime CineBias andmestikku keelemudelitel BERT, RoBERTa ja ModernBERT kasutades CrowS-Pairs meetodit (CPS) ning leidsime, et mudelite kallutatus on võrreldav varasemate andmestike tasemetega (nt BERT: 61,2% CPS). See annab kinnitust, et CineBias on tõhus ja skaleeritav vahend keelemudelite kallutatuse hindamiseks. Lisaks näitame eesti keelel põhineva väiksemahulise juhtumiuuringu alusel, et metoodika on rakendatav ka vähekasutatavatele keeltele.