Informatsioonikriteeriumid

Kuidas võrrelda kahte jaotust, millest üks ei ole teise erijuht. Tunduks mõistlik kasutada karistusliiget, mis takistaks tõepärafunktsiooni väärtust lihtsalt parameetrite arvu tõstmisega kasvatamast. Kui tuleme tagasi tõepärasuhte statistiku juurde siis on siin võimalik teha väike ümberkirjutus. Nimelt olgu ci,α  jaotuse χ2(i)  α  -täiendkvantiil. Siis tõepärasuhte statistiku alusel on i  parameetri võrra keerukamat mudelit mõttekas kasutada parajasti siis kui

                ci,α

			lnL1 >  ln L0 +  ---,

			2

kus L1   on keerukamal mudelil põhinev tõepärafunktsioon ja L0   lihtsamal mudelil põhinev tõepärafunktsioon. Seega ka tõepärasuhte statistikul põhinev otsustuse tegemine sisaldaks otsekui karistusliiget – nt ühe parameetri lisamiseks on vaja, et logaritmiline tõepära suureneks c1,α∕2  võrra.

Informatsioonikriteeriumid, mis samuti põhinevad logaritmilisel tõepärafunktsioonil võtavad lisaks arvesse veel valimimahu. Bayesi informatsioonikriteerium ehk Schwarzi informatsioonikriteerium sätestab, et logaritmilist tõepära tuleks i  parameetri lisamisel ja valimimahu n  korral vähendada (i∕2 )ln n  võrra ehk et uus parameeter on mõttekas lisada siis kui logaritmiline tõepära muutub selle lisamisel 0.5ln n  võrra suuremaks. Kui see nii ei ole, siis tuleks kasutada lihtsamat mudelit.

Parandatud Akaike informatsioonikriteerium ütleb aga, et valida tuleks selline mudel, mille korral

            (k + 1)(k + 2)

			2lnL -  k - --------------

			n - k

on suurim.

Märgime veel lõpetuseks, et võrdsete parameetrite arvu korral on informatsioonikriteeriumite puhul otsustuskriteeriumiks sisuliselt tõepärafunktsiooni väärtus.