Browsing by Author "Paju, Ando"
Now showing 1 - 1 of 1
Results Per Page
Sort Options
Item UTF-8 kodeeringu toe lisamine programmile Lingua::Ident(Tartu Ülikool, 2013) Paju, Ando; Kaalep, Heiki-Jaan; Tartu Ülikool. Matemaatika-informaatikateaduskond; Tartu Ülikool. Arvutiteaduse instituutTöö eesmärgiks oli leida, kas UTF-8 sümbolites peituva lisainfo arvestamine programmis Lingua::Ident parandab eesti keele tuvastamist. Hetkel kasutab Lingua::Ident keeltele hinnangu andmiseks baite. Töö esimeses peatükis võrdlesin erinevaid keeletuvastuse meetodeid ja valisin Ted Dunningu algoritmi, mis kasutab Markovi mudelit. Töö teises peatükis selgitasin, mida kujutab endast Markovi mudel ja Ted Dunningu algoritm. Kolmandas peatükis leidsin, mis on Lingua::Ident'i puudused eesti keele jaoks ja pakkusin muudatused, mida sisse viia, et täpitähti (ja muid sümboleid, mida algses ASCII kodeeringus pole) ja UTF-8 kodeeringut arvestada oskaks. Neljandas peatükis viisin muudatused programmi sisse ning korraldasin katse, et näha kas muudetud programm tuvastab esialgsest programmist eesti keelt paremini. Katse tulemusena leidsin, et UTF-8 kasutamine baitide asemel aitas programmil veidi paremini eesti keelt tuvastada. Keeletuvastusel on tõenäoliselt rohkem kasu selliste keelte jaoks, mis kasutavad suuremal hulgal mitmebaidilisi UTF-8 sümboleid.