Quality estimation through attention

Abstract

Masintõlge on saanud osaks mitte ainult keeleteadlaste ja professionaalsete tõlkijate, vaid peaaegu kõigi elust. Enamik inimesi, kes on kasutanud masintõlget, on kohanud naljakaid ja kohati täiesti valesid tõlkeid, mis lause tähendust täielikult moonutavad. Seega peame peale masintõlke mudeli kasutama hindamismehhanismi, mis teavitab inimesi tõlgete kvaliteedist. Loomulikult saavad professionaalsed tõlkijad masintõlke väljundit hinnata ja vajadusel toimetada. Inimeste märkuste kasutamine veebipõhiste masintõlkesüsteemide tõlgete hindamiseks on aga äärmiselt kulukas ja ebapraktiline. Seetõttu on automatiseeritud tõlkekvaliteedi hindamise süsteemid masintõlke töövoo oluline osa. Kvaliteedihinnangu eesmärk on ennustada masintõlke väljundi kvaliteeti, ilma etalontõlgeteta. Selles töös keskendusime kvaliteedihinnangu mõõdikutele ja käsitleme tõlkekvaliteedi näitajana tähelepanumehhanismi ennustatud jaotusi, mis on üks kaasaegsete neuromasintõlke (NMT) süsteemide sisemistest parameetritest. Kõigepealt rakendasime seda rekurrentsetel närvivõrkudel (RNN) põhinevatele masintõlkemudelitele ja analüüsisime pakutud meetodite toimivust juhendamata ja juhendatud ülesannete jaoks. Kuna RNN-põhised MT-süsteemid on nüüdseks asendunud transformeritega, mis muutusid peamiseks tipptaseme masintõlke tehnoloogiaks, kohandasime oma lähenemisviisi ka transformeri arhitektuurile. Näitasime, et tähelepanupõhised meetodid sobivad nii juhendatud kui ka juhendamata ülesannete jaoks, kuigi teatud piirangutega. Kuna annotatsiooni andmete hankimine on üsna kulukas, uurisime, kui palju annoteeritud andmeid on vaja kvaliteedihinnangu mudeli treenimiseks.

Machine translation has become a part of the life of not only linguists and professional translators, but almost everyone. Most people who have used machine translation have come across funny and sometimes completely incorrect translations that turn the meaning of a sentence upside down. Thus, apart from a machine translation model, we need to use a scoring mechanism that informs people about the quality of translations. Of course, professional translators can assess and, if necessary, edit the machine translation output. However, using human annotations to evaluate translations of online machine translation systems is extremely expensive and impractical. That is why automated systems for measuring translation quality are a crucial part of the machine translation pipeline. Quality Estimation aims to predict the quality of machine translation output at run-time without using any gold-standard human annotations. In this work, we focused on Quality Estimation methods and explored the distribution of attention—one of the internal parameters of modern neural machine translation systems—as an indicator of translation quality. We first applied it to machine translation models based on recurrent neural networks (RNNs) and analyzed the performance of proposed methods for unsupervised and supervised tasks. Since transformer-based machine translation models had supplanted RNN-based, we adapted our approach to the attention extracted from transformers. We demonstrated that attention-based methods are suitable for both supervised and unsupervised tasks, albeit with some limitations. Since getting annotation labels is quite expensive, we looked at how much annotated data is needed to train a quality estimation model.