Extracting Lexical Relations from Large Pre-trained Language Models

Abstract

Alates OpenAI ChatGPT ilmumisest on suured keelemudelid muutunud äärmiselt populaarseks. ChatGPT põhineb generatiivsel eeltreenitud transformeril (GPT), mille uusim versioon on GPT-4. Selle lõputöö eesmärk on testida GPT-4 võimeid, mida praegu peetakse suurte keelemudelite tipptasemeks. Lähenemisviisiks on wordnet-tüüpi sõnastiku genereerimine, mis on sõnade ja nende suhete võrgustik. See on tõhus meetod GPT-4 testimiseks, sest võimaldab testida mudelit mitmes keeles, sealhulgas ressursirohketes keeltes nagu inglise keel ja ressursivaestes keeltes nagu eesti keel. Varasemad katsed wordneti genereerimisel tuginesid suuresti masintõlkele, mis tavaliselt ei ole ressursivaeste keelte puhul tõhus. Kahjuks ei osutunud GPT-4 sooritus siinses töös nii heaks, kui oodati. Enim esines raskusi sõna kõigi tähenduste genereerimise ja suhete üle genereerimisega. Need probleemid esinesid mõlemas keeles. Lõppkokkuvõttes töötavad generatiivsed suured keele mudelid kõige paremini, kui kontekst juba eksisteerib, näiteks kokkuvõtete loomisel või ühiktestide genereerimisel.