Estonian Simultaneous Speech-to-Text Machine Translation

Abstract

Simultaneous machine translation is a task, where the translation system is expected to start translating before having access to the entire input sequence. This makes it a challenging and error-prone task. This thesis explored the feasibility of using pre-trained open models for simultaneous speech-to-text translation on the Estonian-English, Estonian-Russian, English-Estonian and Russian-Estonian directions. Two types of systems were evaluated: cascaded and end-to-end. The cascaded system relied on Whisper large-v3-turbo and NLLB-200 distilled 1.3B. The end-to-end system was based on Seamless M4Tv2 large. In addition, both systems used Voice Activity Detection (VAD) and LocalAgreement. The systems were compared with and without fine-tuning. For fine-tuning, a synthetic dataset with more than 4 million samples was created from various publicly available datasets. The dataset contained a 1:1 mix of full and partial sequences. The evaluation results showed that both systems are strongest on the Estonian-English direction followed by English-Estonian. Estonian-English direction can be translated without additional fine-tuning. Both systems struggled on the Estonian-Russian and Russian-Estonian directions. The translation quality and latency improved for both directions after fine-tuning.

Sünkroonne masintõlge on valdkond, kus tõlkesüsteem peab hakkama tõlkima osalise sisendi põhjal, millest tulenevalt on tegu keerulise ja veaohtliku ülesandega, eriti kui varasema väljundi parandamine ei ole lubatud. Selles töös uuriti levinud vabade kaaludega masinõppe mudelite võimekust tõlkida sünkroonselt eesti-inglise, eesti-vene, inglise-eesti ja vene-eesti suundade vahel. Tõlkimiseks loodi kaks erinevat süsteemi. Esimene oli kaskaadsüsteem, mis kasutas Whisper large-v3-turbo mudelit transkriptsioonide loomiseks ja NLLB-200 distilled 1.3B mudelit tõlkimiseks. Teine süsteem põhines Seamless M4Tv2 large mudelil. Lisaks kasutasid mõlemad süsteemid VAD-i ja LocalAgreement strateegiat. Süsteeme võrreldi ilma ja koos peenhäälestamisega. Mudelite peenhäälestamiseks loodi avalike andmestike põhjal enam kui 4 miljonist näitest koosnev sünteetiline andmestik, mis sisaldas võrdsetes osades täielikke ja osalisi lauseid. Mõlemad süsteemid olid ilma peenhäälestamiseta tugevad eesti-inglise suunal, kuid ka inglise-eesti tulemused olid rahuldavad. Eesti-vene ja vene-eesti suundadel tõlkimiseks oli peenhäälestamine vajalik, mille tulemusena paranes tõlke kvaliteet ning vähenes sisendi ja väljundi vaheline viivitus.