Selleks, et analüsaator töötaks, on vaja andmestikku lemmadest ja nende esinemissagedustestest tekstides.

Lõputöös kasutatakse Eesti Keeleressursside Keskuse (EKK) koostatud teaduskirjanduskorpuse lemmade sagedusloendit [3321].

Kuni töö katsetamisfaasi viimase iteratsioonini kasutati EKK tasakaalus korpuse lemmade sagedusloendit [3322].

Kuna tasakaalus korpus on segu ajakirjandus-, ilukirjandus- ja teaduskirjanduskorpuse lemmadest ja nende sagedustest, ei andnud see teadusteksti analüüsi puhul siiski kõige paremaid tulemusi.

Seetõttu valiti andmeteks siiski teaduskirjanduskorpuse lemmad ja nende esinemissagedused tekstides.

Iga sõna puhul leitakse selle sõna lemma .

Luuakse sõnastik, kus võtmeteks on lemmad ning väärtusteks kõik sõnad (koos indeksitega), mis sellele lemmale tekstis vastavad.

Lemmade sõnastikust filtreeritakse välja stoppsõnad ja lemmad , mis esinevad tekstis vähem kui 7 korda.

Iga lemma puhul leitakse selle tekstisisene sagedushinnang.

Kui tulemus on suurem kui 5 ehk tekstisiseselt on kasutatud lemmat 5 korda rohkem kui oodatud, märgitakse lemma ülekasutatuks.

Ülekasutatud lemmad sorteeritakse sagedushinnangu järgi kahanevalt.

See tähendab, et esimene lemma on tekstis kõige rohkem ülekasutatud.

Infoliigsuse vältimiseks jäetakse järele ainult 8 ülekasutatud lemmat .

Bakalaureusetöö on lõputööde automaatne analüüs ja tagasisidestamine.

Lõputöö kirjutamise protsessi käigus tekib kirjutades nii stiili- kui ka grammatikavigu, mille parandamisele kulub palju aega ja energiat.

Veelgi probleemsem on olukord, kus vead jäävad märkamata ja lõputöö kvaliteet seepärast kannatab.

Seetõttu luuaksegi lõputööna programm, mis keeletehnoloogilisi lahendusi kasutades tuvastab vead ja annab soovitusi, kuidas neid parandada.

Lõputöö analüüsijast peaks kasu saama tudengid ja juhendajad nii töö kirjutamise käigus kui ka lõpliku töö ülevaatusel.

Igal aastal lõpetab Tartu Ülikooli üle 2000 tudengi, kellest igaüks peab lõpetamise tingimusena kirjutama lõputöö [1].

Lõputöö on demonstratsioon teadmistest ja oskustest, mida tudeng on oma õpingute vältel omandanud.

Käesolevas töös loodi analüsaatorist programm, mis toetab tudengit ja juhendajat töö kirjutamisel ning aitab järgida head lõputööle omast keelekasutust, -stiili ja -nõudeid.

Eesti- ning ingliskeelsete tekstide puhul pole olemas programmi, mille põhieesmärgiks on lõputööde ehk akadeemilise teksti automaatne analüüs ja tagasisidestamine.

Lõputöö analüsaatori jaoks loodi lahtise API-ga mikroteenus, millele esitab päringu CgLearni lõputöö veebiteenus.

Antud lõputöös olid suurima tähtsusega osalausestamise, sõnestamise, morfoloogilise analüüsi ja lausestamise funktsionaalsused.

Lõputöös otsustati kasutada EstNLTK versiooni 1.6.

Näiteks on kihi „morph_analysis“ kaudu võimalik saada kätte sõna algvorm ja sõnaliik, mis oli lõputöös korduvalt kasutatud sõnade analüüsi puhul võtmetähtsusega.

Lõputöös otsustati rakenduse backendi puhul Flaski kasuks, kuna selle kohta on palju dokumentatsiooni ning sellega on lihtne ja kiire luua REST arhitektuuril põhinevat arendusserverit.

Erinevates instituutides võib lõputöö kirjutamisnõuetes tegumoe nõue varieeruda, aga arvutiteaduse instituudis on soovituslik kasutada mina-vormi asemel umbisikulist tegumoodi.

Lõputöö analüsaatoris on umbisikulisuse kontrollimiseks olemas Pythoni moodul „impersonality_analyzer.

py“, mis analüüsib ja otsustab, kas lõputöö on täielikult umbisikulises tegumoes kirjutatud.

On aga võimalik, et kuigi teksti autor ei kasutanud lõputöös mina-vormi, siis sellegipoolest leidub mina-vorm kas tsitaadis või mõistes.

<> Lõputöö analüsaatoris on moodul „overused_word_analyzer.

Käesolevas töös loodi analüsaatorist programm, mis toetab tudengit ja juhendajat töö kirjutamisel ning aitab järgida head lõputööle omast keelekasutust, -stiili ja -nõudeid.

Analüsaatorist peaks kasu saama tudengid ja juhendajad nii töö kirjutamise käigus kui ka lõpliku töö ülevaatusel.

Lõputöö analüsaatori jaoks loodi lahtise API-ga mikroteenus, millele esitab päringu CgLearni lõputöö veebiteenus.

Lõputöö analüsaatoris on umbisikulisuse kontrollimiseks olemas Pythoni moodul „impersonality_analyzer.

Kui sõna on tsitaadis, siis umbisikulise tegumoe analüsaator seda arvesse ei võta.

<> Lõputöö analüsaatoris on moodul „overused_word_analyzer.

Ülekasutatud sõnade analüsaatori loogika põhineb suuresti Githubi kasutaja omerdemirkan vabavaralisel programmil nimega Synonymy [12].

Lõputöös loodud ülekasutatud sõnade analüsaator on see-eest kirjutatud Pythonis ja suudab analüüsida vaid eesti keelt.

Lisaks on tehtud edasiarendusi ja kohandusi vastavalt lõputööde analüsaatori API vajadustele.

Selleks, et analüsaator töötaks, on vaja andmestikku lemmadest ja nende esinemissagedustestest tekstides.

Kui leidub, siis analüsaator märgistab sõna ülekasutatuks.

Ülekasutatud sõnade analüsaator töötab järgnevalt: Kutsutakse välja mooduli „overused_word_analyzer.

Lõputöö analüsaatoris kontrollib lausepikkust moodul „sentence_length_analyzer.

Kuna loetelust ei ole üldiselt lugejal keeruline aru saada, ei tohiks ka lausepikkuse ja -keerulisuse analüsaator seda keerulise lausena välja tuua.

Lausepikkuse ja -keerulisuse analüsaatori eesmärk on aidata tuvastada lauseid, mis võivad raskesti arusaadavad olla.

Teksti autor peab see-eest ise otsustama, kas analüsaatori poolt välja toodud lause on ka tõepoolest liiga pikk.

Näiteks klassifitseeris analüsaator teksti puhul keeruliseks järgneva lause: „Kuna käesolevas uurimistöös uuritakse verbe, mida on kasutatud otsekõne saatelausetes, ning vähesel määral ka saatelausete paiknemist, siis selles peatükis antakse lühike ülevaade, kuidas üldse tegelaskõnet kirjanduses on võimalik edasi anda ning milline tähtsus on saatelausetel dialoogide puhul.“ See lause meeldis töö autorile, kes ei pidanud seda liigselt keeruliseks.

Seetõttu on lausepikkuse ja -keerulisuse analüsaator teksti autorile siiski kõigest abivahendiks.

Analüsaator ei võta arvesse jutumärkide vahel olevaid sõnu, kuna nende põhjal tehakse eeldus, et need on kas tsitaadis või näited.

3.3 Funktsionaalsus 3.3.1 Umbisikulise tegumoe kontroll Teadustekst peaks üldise arusaama järgi olema objektiivne ja neutraalne nii keeleliselt kui ka sisult [10].

Eesti keeles on nii isikuline kui umbisikuline tegumood , millest viimast kasutatakse selleks, et kirjutaja isikut kõige paremini tagaplaanile jätta [10].

Erinevates instituutides võib lõputöö kirjutamisnõuetes tegumoe nõue varieeruda, aga arvutiteaduse instituudis on soovituslik kasutada mina-vormi asemel umbisikulist tegumoodi .

py“, mis analüüsib ja otsustab, kas lõputöö on täielikult umbisikulises tegumoes kirjutatud.

Analüüs tagastab lõpuks kõik laused, kus eirati umbisikulist tegumoodi .

Näiteks on kolm osalauset lauses Mees, keda seal nägime, tahtis olla sõbralik ja tervitas meid.

Iga verbiahela puhul kaardistatakse ära, millisesse osalausesse see kuulub.

Pärast osalausestamist ja kaardistamist on tulemuseks see, et esimeses osalauses Mees tahtis olla sõbralik ja on tuvastatud verbiahel tahtis olla.

Teises osalauses keda seal nägime on leitud verbiahel nägime ja kolmandas osalauses teretas meid on verbiahelaks teretas.

Lause on programmi reeglite mõistes keeruline järgnevatel tingimustel: • Osalausete arv on 5 või rohkem ning vähemalt kahes osalauses on verbiahel.

Verbiahelate osalausetes sisaldumise kontroll täidab mitut eesmärki.

Esiteks, verbiahel osalauses tähendab seda, et osalause tutvustab lausesse mingisugust uut mõtet.

Teiseks, kui lauses on küll palju osalauseid , aga verbiahel leidub vähestes osalausetes , on suur tõenäosus, et tegemist on loeteluga.

Näiteks ei tohiks keeruliseks märgistada lauset: „Viimaste sajandite kuulsaimad kirjanikud on Charles Dickens (1812), Virginia Woolf (1882), James Joyce (1882), F. Scott Fitzgerald (1896) ja Arthur C. Clarke (1917).“ Kuigi lugejale võiks tunduda, et lause ei ole keeruline, siis osalausestaja leiab, et selles lauses sisaldub 6 osalauset .

Esimese osalausena tuvastatakse Eelmise sajandi kuulsaimad kirjanikud on Charles Dickens, Virginia Woolf, James Joyce, F. Scott Fitzgerald ja Arthur C. Clarke.

Ülejäänud 5 osalauset on aga aastaarvud, vastavalt (1812), (1882), (1882), (1896), (1917).

Keeleks valiti Python seetõttu, et selles on kättesaadav EstNLTK moodul, millega kaasnevad sisseehitatud keeletöötluse ja -analüüsi funktsionaalsused .

3.1 EstNLTK EstNLTK on Pythonis kirjutatud teekide kogumik, mis võimaldab kasutada erinevaid eesti keele töötlemise funktsionaalsusi .

Antud lõputöös olid suurima tähtsusega osalausestamise, sõnestamise, morfoloogilise analüüsi ja lausestamise funktsionaalsused .

Kõikide funktsionaalsuste kohta on olemas põhjalikud kasutusjuhendid ja dokumentatsioon Jupyter Notebooki töölehtede vormis.

Seda peetakse kergekaaluliseks, kuna põhiversioonil puuduvad andmebaasi abstraktsioonikiht, andmeväljade kontroll, autentimine ja muud funktsionaalsused , mida veebirakenduste loomises tihtipeale kasutatakse [7].

See-eest on võimalik lisada erinevaid kolmanda osapoole liideseid, mis võimaldavad neid funktsionaalsusi rakendada [7].

On aga võimalik, et kuigi teksti autor ei kasutanud lõputöös mina-vormi, siis sellegipoolest leidub mina-vorm kas tsitaadis või mõistes.

Selleks, et vältida valepositiivseid tulemusi, tehakse iga sõna puhul kontroll, kas see on osa tsitaadist ehk jutumärkide vahel.

Kui sõna on tsitaadis , siis umbisikulise tegumoe analüsaator seda arvesse ei võta.

Analüsaator ei võta arvesse jutumärkide vahel olevaid sõnu, kuna nende põhjal tehakse eeldus, et need on kas tsitaadis või näited.

Tsitaat on aga autori tekstist sõltumatu ehk autor seda muuta ei saa, seetõttu ei ole ka vajadust tsitaati keerulise näitena välja tuua.

Näiteks ekstreemse näite puhul: Ta on kirjutanud: „Praegu on kogu meie ametnikkond ühtse riikliku süsteemi teenistuses ning kirjade ja teiste dokumentide sõnastus minetab järjest isikupära, mistõttu asutustevahelised sidemed on tihedad, sest ühes kantseleis keele kohta langetatud väärotsus jõuab dokumentide vahendusel peagi teistesse, kus keele asjus kriitikavõimetud ametnikud selle omaks võtavad ja seda omakorda levitama hakkavad.“ Tsitaat on näite jaoks kohandatud Uno Liivaku kirjutis.

Keeleks valiti Python seetõttu, et selles on kättesaadav EstNLTK moodul , millega kaasnevad sisseehitatud keeletöötluse ja -analüüsi funktsionaalsused.

Lõputöö analüsaatoris on umbisikulisuse kontrollimiseks olemas Pythoni moodul „impersonality_analyzer.

Mooduli analüüsi käivitab „analyze“ funktsioon, mis saab argumendiks originaalteksti.

<> Lõputöö analüsaatoris on moodul „overused_word_analyzer.

Ülekasutatud sõnade analüsaator töötab järgnevalt: Kutsutakse välja mooduli „overused_word_analyzer.

Lõputöö analüsaatoris kontrollib lausepikkust moodul „sentence_length_analyzer.

Moodul analüüsib igat lauset ja teeb selle põhjal ettemääratud reeglite järgi otsuse, kas lause on liiga pikk või mitte.