Analüsaatorid 17 5.1 Sisendteksti eeltöötlus 17 5.2 Mõiste- ja tsitaadituvastaja ning -eemaldaja 17 5.3 Viite-eemaldaja 20 5.4 Umbisikulise tegumoe analüsaator 20 5.5 Korduvate sõnade analüsaator 23 5.6 Lausepikkuse ja -keerulisuse analüsaator 27 5.7 Kantseliidi analüsaator 31 5.7.1 Poolt-tarind 32 5.7.2 Olema kesksõna 33 5.7.3 Määrus saavas käändes 34 5.8 Puuduvate komade analüsaator 35 6.

Kasutaja näeb kokkupandavate lahtritena viite põhilist analüüsi: umbisikulise tegumoe, lausepikkuse, puuduvate komade, kantseliidi ja sõnakorduste analüüsi.

5.7 Kantseliidi analüsaator Lõputöö analüsaator kontrollib, kas sisendtekstis leidub kantseliiti .

Kantseliit on ebaselge, keerukas, raskesti ja mitmeti mõistetav keelekasutus [570].

Kantseliidi kontrollid on suuresti üle võetud Kaarel Sõrmuse 2017. aasta bakalaureusekraadi lõputööst „Kantseliidi- ja paronüümituvastaja“ [571].

Moodul kutsub välja eri funktsioone ehk analüsaatoreid, millest igaüks otsib tekstist kindlat sorti kantseliidi tunnust (vt joonis 570).

Kantseliidi analüsaatori jagunemine Mooduli analüsaatorid vaatavad igat lauset eraldiseisvalt.

Seejärel analüüsivad kõik 4 kantseliidi analüsaatorit lauset.

Kui lauses leidub kindel kantseliidi tüüp, tuuakse see välja.

Kantseliiti sai vältida sellega, kui muudeti lause sõnastust või eemaldati sõna poolt.

Kui ülema algvorm on olema, siis on tuvastatud olema kesksõna kantseliit .

Näiteks toodi kantseliidina välja sõnapaar on huvitav.

Kuna sõna huvitav puhul ei ole tegu kesksõna, vaid omadussõnaga, ei tohiks analüsaator seda kantseliidina välja tuua.

See-eest, kui märgendajad suudaks kesksõna ja omadussõna eristada, oleks lihtne kantseliidi tuvastamisel võtta arvesse ainult sõnu, mis on kesksõnad.

Kui öeldistäide on kas huvitav või vaieldav, siis seda kantseliidina arvesse ei võeta.

Kantseliit tuuakse veebiliideses esile (vt joonis 5730).

Analüsaatorid 17 5.1 Sisendteksti eeltöötlus 17 5.2 Mõiste- ja tsitaadituvastaja ning -eemaldaja 17 5.3 Viite-eemaldaja 20 5.4 Umbisikulise tegumoe analüsaator 20 5.5 Korduvate sõnade analüsaator 23 5.6 Lausepikkuse ja -keerulisuse analüsaator 27 5.7 Kantseliidi analüsaator 31 5.7.1 Poolt-tarind 32 5.7.2 Olema kesksõna 33 5.7.3 Määrus saavas käändes 34 5.8 Puuduvate komade analüsaator 35 6.

Kasutaja näeb kokkupandavate lahtritena viite põhilist analüüsi: umbisikulise tegumoe, lausepikkuse , puuduvate komade, kantseliidi ja sõnakorduste analüüsi.

Sellegipoolest on mõnes analüsaatoris, näiteks lausepikkuse- ja keerulisuse analüsaatoris, vaja jutumärkide vahel olev tekst eemaldada.

QuoteRemover lausepuhastuse lõpptulemus QuoteRemover on kõige olulisem lausepikkuse- ja keerulisuse analüsaatoris, kus on vaja, et tsitaadid ei mõjutaks kuidagi lause keerukust.

Selle kohta on rohkem infot alampeatükis ,, Lausepikkuse- ja keerulisuse analüsaator”.

5.6 Lausepikkuse ja -keerulisuse analüsaator Emakeeleseltsi väitel peab selge tekst olema lihtsa ja loogilise lauseehitusega [14].

Lõputöö analüsaatoris kontrollib lausepikkust moodul sentences_analyzer.

Kuna loetelust ei ole üldiselt lugejal keeruline aru saada, ei tohiks ka lausepikkuse ja -keerulisuse analüsaator seda keerulise lausena välja tuua.

Lisareegli tõttu võetakse eelneva lause puhul lausepikkuse ja -keerulisuse analüüsis arvesse vaid ühte osalauset (Eelmise sajandi kuulsaimad kirjanikud on Charles Dickens, Virginia Woolf, James Joyce, F. Scott Fitzgerald ja Arthur C. Clarke), milles leidub verbiahel on.

Seetõttu on lausepikkuse ja -keerulisuse analüsaator teksti autorile siiski kõigest abivahend.

Lausepikkuse- ja keerulisuse analüsaator töötab hästi.

Edasiarendamise võimalused 37 7.1 Sisendteksti formaadi muutmine 37 7.2 Teistele keeltele laiendamine 38 7.3 Veebiliidese kasutajamugavus 38 7.4 Skaleeruvus 38 7.5 Kasutaja eelistuste salvestamine 39 8.

Selleks, et lõputööde analüsaator oleks lihtsasti kättesaadav kirjutajatele, kes pole CGLearn õpikeskkonda registreeritud, loodi programmi jaoks ka veebiliides .

Veebiliidesest tuleb rohkem juttu peatükis ,,Programmi ülevaade”.

Mikroteenusele esitab päringu veebipõhine õpikeskkond CGLearn või analüsaatori jaoks loodud veebiliides (vt joonis 410).

Kasutajatele näitab vastust arusaadaval kujul kasutajaliides, mis on kas programmi jaoks loodud veebiliides või CGLearn õpikeskkond.

4.2 Veebiliides Lõputöö analüsaatoril on veebiliides (joonis 2), mida saab kasutada koheseks tekstianalüüsiks.

Kõik veebiliidese kaudu tehtud päringud salvestatakse andmebaasi.

Lõputöö analüsaatori veebiliides Liides on lihtsasti kasutatav.

4.3 Tulemuste salvestamine Selleks, et jälgida veebiliidese kasutust ja analüüsida programmi tulemusi, on võimalik salvestada kõik veebiliidese kaudu tehtud analüüsid andmebaasi.

Veebiliideses tuuakse poolt-tarindiga lause esile (vt joonis 5710).

Poolt-tarindi analüüsi tulemus veebiliideses Joonisel 5710 on näha, et sõna Tema on omastavas käändes.

Kantseliitlik tekst tuuakse veebiliideses esile (vt joonis 5720).

Olema kesksõna kontrolli tulemus veebiliideses Katsetamisest selgus, et analüsaator toob tihti esile valepositiivseid tulemusi.

Kantseliit tuuakse veebiliideses esile (vt joonis 5730).

Määrus saavas käändes kontrolli tulemus veebiliideses .

Võttes näiteks selle sama peatüki pealkirja ja esimese lause: kui kasutaja kopeerib terve lõputöö teksti veebiliidesesse , siis kuna vaadeldava peatüki nime lõpus pole punkti, tuvastab EstNLTK tekstilõigu „5.

7.3 Veebiliidese kasutajamugavus Praeguses veebiliideses saab kasutaja sisestada oma teksti ainult kopeerides.

Üks variant, kuidas protsessi lihtsustada, oleks lisada veebiliidesele võimalus laadida üles oma lõputöö teksti fail.

See on Estonian Scientific Computing Infrastructure (ETAIS) veebiliidese kaudu saadud High Performance Computing (HPC) keskuse server.

Teadustekst 7 3.

Lõputööd kirjutades on oluline kasutada korrektset ja akadeemilist keelekasutust ning -stiili, mis on omane teadustekstile .

Tudengil on aga teadusteksti norme ja tavasid tihtipeale raske järgida, kuna selle kirjutamisega on üldiselt vähe kogemusi.

Teadustekst Olgugi, et pole olemas ametlikku tekstiliikide jaotust, saab sellegipoolest tänapäeval jaotada keelekasutust argikeeleks, ilukirjanduslikuks keeleks ja tarbekeeleks, millest viimast on võimalik omakorda jaotada ajakirjanduslikuks keeleks, ametikeeleks ja teaduskeeleks [3].

Üks levinumaid ekslikke arusaamasid on see, et teadustekst peab olema keeruline, ent tegelikkuses peaks see olema selgesti arusaadav ja sujuvalt loetav ilma, et see muutuks liiga primitiivseks [5].

Esmaselt luuakse regulaaravaldis, mis suudab leida levinumad teadusteksti viitamisstiilid.

Mitmete teadustekstide autorid nagu näiteks Sirkka Hirsjärvi, Pirkko Remes ja Paula Sajavaara väidavad, et teadusteksti autor peab enda isikut tagaplaanil hoidma [11].

Kuna tasakaalus korpus on segu ajakirjandus-, ilukirjandus- ja teaduskirjanduskorpuse lemmadest ja nende sagedustest, ei andnud see teadusteksti analüüsi puhul siiski kõige paremaid tulemusi.

Seejärel leitakse sõna tegelik sagedushinnang teadustekstide korpusest.

Tartu Ülikool Arvutiteaduse instituut Informaatika õppekava Karl Erik Karindi Lõputöö teksti analüsaator Bakalaureusetöö (9 EAP) Juhendaja: Raimond-Hendrik Tunnel, MSc Tartu 2020 Lõputöö teksti analüsaator Lühikokkuvõte: Bakalaureusetöö on lõputööde automaatne analüüs ja tagasisidestamine.

Lõputöö kirjutamise protsessi käigus tekib kirjutades nii stiili- kui ka grammatikavigu, mille parandamisele kulub palju aega ja energiat.

Veelgi probleemsem on olukord, kus vead jäävad märkamata ja lõputöö kvaliteet seepärast kannatab.

Seetõttu luuaksegi lõputööna programm, mis keeletehnoloogilisi lahendusi kasutades tuvastab vead ja annab soovitusi, kuidas neid parandada.

Lõputöö analüüsijast peaks kasu saama tudengid ja juhendajad nii töö kirjutamise käigus kui ka lõpliku töö ülevaatusel.

Sissejuhatus Igal aastal lõpetab Tartu Ülikooli üle 2000 tudengi, kellest igaüks peab lõpetamiseks kirjutama lõputöö [1].

Lõputöö on demonstratsioon teadmistest ja oskustest, mida tudeng on oma õpingute vältel omandanud.

Lõputööd kirjutades on oluline kasutada korrektset ja akadeemilist keelekasutust ning -stiili, mis on omane teadustekstile.

Lisaks kasutati ja arendati olemasolevaid lahendusi, mis olid leitud kas internetist või varasematest lõputöödest .

Programm aitab järgida head lõputööle omast keelekasutust, -stiili ja -nõudeid.

Töö idee tuli veebipõhise õpikeskkonna CGLearn lõputööde moodulist [CG0].

Lõputööde moodul võimaldab aga lõputöö kirjutajaid efektiivsemalt juhendada [CG1].

Näiteks saab moodulis nii juhendaja kui ka juhendatav lihtsasti jälgida lõputöö kirjutamise protsessi.

Juhendatav saab ka logida lõputööle kulutatud aega ja jälgida graafikust kinni pidamist.

CGLearni registreeritud tudengid saavad iga nädala alguses raporti oma lõputöö kirjalikust osast.

Enne lõputöö analüsaatori loomist analüüsis veebirakendus ainult ingliskeelsete lõputööde tekstikeerukust.

Igal nädalal esitab CGLearni õpikeskkond lõputööde analüsaatori programmi API-le päringu, mille vastusest saab tekstianalüüside tulemused kätte.

Seejärel lisatakse tulemused raportisse, kust juhendatavad saavad näha automaatset tagasisidet oma lõputööde tekstidele.

Selleks, et lõputööde analüsaator oleks lihtsasti kättesaadav kirjutajatele, kes pole CGLearn õpikeskkonda registreeritud, loodi programmi jaoks ka veebiliides.

Analüsaatorid 17 5.1 Sisendteksti eeltöötlus 17 5.2 Mõiste- ja tsitaadituvastaja ning -eemaldaja 17 5.3 Viite-eemaldaja 20 5.4 Umbisikulise tegumoe analüsaator 20 5.5 Korduvate sõnade analüsaator 23 5.6 Lausepikkuse ja -keerulisuse analüsaator 27 5.7 Kantseliidi analüsaator 31 5.7.1 Poolt-tarind 32 5.7.2 Olema kesksõna 33 5.7.3 Määrus saavas käändes 34 5.8 Puuduvate komade analüsaator 35 6.

5.7.2 Olema kesksõna Öedistäide, mis on v- või tav-kesksõna, võib mõjuda kohmakalt [5720].

Oleviku kesksõna väljendab tegevust, mis ise­loomustab tegijat või tegijaobjekti [5721].

Näiteks lauses Leping on kehtiv 2 aastat on oleviku kesksõna kehtiv.

Olema kesksõna analüsaator on võetud Sõrmuse lõputööst, ent sellele on lisatud mõned reeglid.

Kui ülema algvorm on olema, siis on tuvastatud olema kesksõna kantseliit.

Olema kesksõna kontrolli tulemus veebiliideses Katsetamisest selgus, et analüsaator toob tihti esile valepositiivseid tulemusi.

Kuna sõna huvitav puhul ei ole tegu kesksõna , vaid omadussõnaga, ei tohiks analüsaator seda kantseliidina välja tuua.

Katsetati, kas on võimalik eristada kesksõnu ja omadussõnu nende liigi järgi.

Kahjuks ei olnud kesksõnu ja omadussõnu võimalik eristada.

Ei süntaksi ega morfoloogilise analüüsi sõnaliigi märgendajad ei suutnud tuvastada, kas sõna on kesksõna , mis väljendab tegevust (näiteks kehtiv, lööv) või on sõna tavaline omadussõna (näiteks huvitav, põnev).

Selleks, et vältida valepositiivseid tulemusi, tehakse iga sõna puhul kontroll, kas see on mõiste või osa tsitaadist.

Niiviisi võib lihtsasti tekkida valepositiivseid tulemusi, kus teksti autor on mõiste või tsitaadi jaoks jutumärkide asemel kasutanud kaldkirja.

Näidislause osalausestamise tulemus Selleks, et vältida osalausestajast tingitud valepositiivseid tulemusi seoses keeruliste lausetega, on lisatud eraldi reegel sulgude vahel oleva teksti kohta.

Esialgsed analüsaatorid andsid tihti valepositiivseid vastuseid.

Katsetamisest selgus, et poolt-tarindi kontrolli tulemustes leidus kõige vähem valepositiivseid kirjeid.

Olema kesksõna kontrolli tulemus veebiliideses Katsetamisest selgus, et analüsaator toob tihti esile valepositiivseid tulemusi.

Niiviisi väheneks tunduvalt valepositiivsete tulemuste arv.

Mõningate valepositiivsete tulemuste vältimiseks loodi erandid.

Katsetamisest selgus see-eest, et analüsaatori tulemustes esines palju valepositiivseid kirjeid.

Kuigi määrus saavas käändes analüsaator võib tekitada palju valepositiivseid , on sellel siiski potentsiaali olla kasulik.

Lisaks ei saa märkida, missuguseid valepositiivseid tulemusi ei soovi kasutaja järgnevates analüüsides enam näha.

Funktsionaalsuse lisamine annaks kindlasti palju lisandväärtust, kuna analüüsides esineb valepositiivseid tulemusi.

Valepositiivsed tulemused võivad aga mitmete analüüside jooksul (näiteks iganädalaste CGLearni saadetud tekstide puhul) osutuda soovimatuks müraks, mis häirivad tulemuste uurimist.

Analüsaatorid 17 5.1 Sisendteksti eeltöötlus 17 5.2 Mõiste- ja tsitaadituvastaja ning -eemaldaja 17 5.3 Viite-eemaldaja 20 5.4 Umbisikulise tegumoe analüsaator 20 5.5 Korduvate sõnade analüsaator 23 5.6 Lausepikkuse ja -keerulisuse analüsaator 27 5.7 Kantseliidi analüsaator 31 5.7.1 Poolt-tarind 32 5.7.2 Olema kesksõna 33 5.7.3 Määrus saavas käändes 34 5.8 Puuduvate komade analüsaator 35 6.

Edasiarendamise võimalused 37 7.1 Sisendteksti formaadi muutmine 37 7.2 Teistele keeltele laiendamine 38 7.3 Veebiliidese kasutajamugavus 38 7.4 Skaleeruvus 38 7.5 Kasutaja eelistuste salvestamine 39 8.

Klient saadab API-le päringu päringu, milles on JSON formaadis analüüsisimisele minev sisendtekst .

Seejärel eeltöödeldakse sisendtekst ja algatatakse analüüsid.

Originaalsest sisendtekstist luuakse Text objekt, millele saab erinevaid analüüsikihte lisada.

5.1 Sisendteksti eeltöötlus Enne seda, kui analüsaatorid saavad tööle hakata, peab teksti eeltöötlema.

Eeltöötlus tähendab seda, et sisendtekstist luuakse Text objekt, misjärel lisatakse objektile kõik EstNLTK analüüsikihid (vt joonis 460).

Eeltöötlus on oluline, kuna analüüsikihtide lisamine võib sõltuvalt sisendteksti pikkusest võtta palju aega.

Eraldamine sõltub sümbolitest, mis on sisendtekstis üksteisega kõrvuti.

QuoteAnalyzer analüüsi tulemus QuoteAnalyzer võimekus ei ole piiratud ainult ühe lausega, vaid see suudab analüüsida tervet sisendteksti .

On aga võimalik, et kuigi sisendteksti autor ei kasutanud lõputöös mina- või meie-vormi töö sisupeatükkides, siis sellegipoolest leidub mina-vorm kas tsitaadis, mõistes või väljaspool sisupeatükke (nt Kokkuvõtte peatükis).

Nimelt ei suuda analüsaator sisendteksti puhul eristada, kas tekst on kaldkirjas või mitte.

Iga sõna puhul, mis sisendtekstis esineb, arvutatakse selle sõna tekstisisene sagedushinnang.

Tulemusena saab võrrelda, kas sõna esineb sisendtekstis rohkem kui on tavaliselt teadustekstides oodatud.

5.7 Kantseliidi analüsaator Lõputöö analüsaator kontrollib, kas sisendtekstis leidub kantseliiti.

Edasiarendamise võimalused 7.1 Sisendteksti formaadi muutmine Programm võtab sisendiks JSON kujul infot.