CircularCheck: A Tool for Detecting Circular Reporting

Abstract

In the modern information landscape, the speed with which news is spread has reached unprecedented levels. This poses significant challenges in ensuring the accuracy and independence of information. Circular reporting is a situation where a piece of information appears to come from multiple independent sources, but in reality comes from only one source. Such practices can be intentional or accidental and contribute to the spread of false information by creating an illusion of corroboration. While circular reporting has been studied in intelligence and scientific literature, its detection in journalism, particularly in a small media ecosystem like Estonia, has received little attention. This thesis addresses the problem of detecting circular reporting in Estonian online news media. We present a system that detects circular reporting by building reference hierarchies and comparing article content across ERR, Delfi, and Postimees. Here we show that using a combination of link-based and text-based methods, it is possible to flag suspicious reference patterns for manual validation. The results show that 47 positive cases were detected by link analysis and 4 by text similarity. Self-referencing structures were the most reliable. These results reveal that although circular reporting is not widespread, it does occur and can be identified with relatively simple heuristics. The system does not attempt to verify the truthfulness of the information but instead focuses on tracing the propagation of references. This allows researchers and journalists to better assess the credibility and independence of sources. In a broader context, the results offer a framework that can be adapted to other media ecosystems and help improve media transparency.

Tänapäevases infokeskkonnas levib teave kiiremini kui kunagi varem. See tekitab raskusi allikate usaldusväärsuse ja sõltumatuse tagamisel. Ringviitamine on olukord, kus info näib pärinevat mitmest sõltumatust allikast, kuigi tegelikult pärineb see ainult ühest. Selline olukord võib tekkida tahtlikult või kogemata ning aitab kaasa valeinfo levikule, luues näilise kooskõlastatuse mulje. Kuigi ringviitamist on uuritud luure, Vikipeedia ja teadusartiklite kontekstis, on selle tuvastamine ajakirjanduses, eriti väikestes meediaruumides nagu Eesti, jäänud tähelepanuta. Käesolev magistritöö tegeleb ringviitamise tuvastamise probleemiga Eesti veebimeedias. Töös esitletud süsteem tuvastab ringviitamist, ehitades artiklite viitehierarhiaid ja võrreldes artiklite sisu ERR-i, Delfi ja Postimehe andmetel. Näitame, et linkide ja tekstipõhiste meetodite kombinatsioon võimaldab tuvastada kahtlasi viiteid, mis vajavad käsitsi valideerimist. Tulemused näitavad, et lingianalüüs tuvastas 47 positiivset juhtu ja tekstisarnasuse meetod 4. Kõige täpsemalt tuvastas süsteem eneseviitamise struktuure. Need tulemused näitavad, et kuigi ringviitamine ei ole väga levinud, esineb seda siiski ning seda on võimalik tuvastada lihtsate heuristikatega. Süsteem ei püüa hinnata info tõesust, vaid keskendub selle leviku jälgimisele. See võimaldab ajakirjanikel ja uurijatel paremini hinnata allikate sõltumatust ja usaldusväärsust. Laiemas kontekstis pakuvad tulemused raamistikku, mida saab kohandada ka teiste meediakeskkondade jaoks, et suurendada meedia läbipaistvust.