Deepfakes for Paper Vote Privacy Defence

Abstract

The recent rise of artificial intelligence (AI) solutions has also had a significant impact on electoral processes. Most notably, deepfakes created by generative AI applications can (and have been) used to spread misinformation during the campaigns, but they can also be used for cyberattack automation, biased social media bots, etc. This thesis instead presents a positive use case for generative AI in manipulating video material required as proof of voting by potential coercers. For this, I have created a pipeline that takes a video of a voting ballot and replaces its critical content (in our case, the digits on the ballot). To achieve this, a YOLO model is used to find the digits, a WavePaint image inpainting model is used to cover up the old digits, and a separate image of the new digits is used to place it into the video. Additionally, I have implemented the prototype application in the form of a webpage.

Viimaste aastate jooksul on tehisintellekti levik hakanud mõjutama valimisprotsessi. Peamiselt on generatiivse tehisintellekti poolt loodud süvavõltsingud põhjustanud valeinformatsiooni levitamist valimisperioodi jooksul. Samuti saab tehisintellekti kasutada küberrünnakute automatiseerimiseks ja kallutatud arvamusega sotsiaalmeedia postituste loomiseks. Käesolev magistritöö toob esile positiivse generatiivse tehisintellekti kasutusvaldkonna ning seda olukorra jaoks, kus potentsiaalne ründaja nõuab tõestusmaterjali hääletamisprotsessist hääletuskabiinis. Selle jaoks koostasin programmi, kus võetakse hääletaja poolt filmitud video ning asendatakse videos hääletaja hääl ründaja sooviga. Selle saavutamiseks kasutasin YOLO mudelid numbrite leidmiseks, WavePaint mudelit numbrite kinni katmiseks ja eraldi pilti ründaja soovist, et asetada see sedelile. Programmi jaoks implementeerisin veebilehe prototüübi.