Informatsioonikriteeriumid
Kuidas võrrelda kahte jaotust, millest üks ei ole teise erijuht. Tunduks mõistlik kasutada karistusliiget, mis takistaks tõepärafunktsiooni väärtust lihtsalt parameetrite arvu tõstmisega kasvatamast. Kui tuleme tagasi tõepärasuhte statistiku juurde siis on siin võimalik teha väike ümberkirjutus. Nimelt olgu jaotuse -täiendkvantiil. Siis tõepärasuhte statistiku alusel on parameetri võrra keerukamat mudelit mõttekas kasutada parajasti siis kui
|
kus on keerukamal mudelil põhinev tõepärafunktsioon ja lihtsamal mudelil põhinev tõepärafunktsioon. Seega ka tõepärasuhte statistikul põhinev otsustuse tegemine sisaldaks otsekui karistusliiget – nt ühe parameetri lisamiseks on vaja, et logaritmiline tõepära suureneks võrra.
Informatsioonikriteeriumid, mis samuti põhinevad logaritmilisel tõepärafunktsioonil võtavad lisaks arvesse veel valimimahu. Bayesi informatsioonikriteerium ehk Schwarzi informatsioonikriteerium sätestab, et logaritmilist tõepära tuleks parameetri lisamisel ja valimimahu korral vähendada võrra ehk et uus parameeter on mõttekas lisada siis kui logaritmiline tõepära muutub selle lisamisel võrra suuremaks. Kui see nii ei ole, siis tuleks kasutada lihtsamat mudelit.
Parandatud Akaike informatsioonikriteerium ütleb aga, et valida tuleks selline mudel, mille korral
|
on suurim.
Märgime veel lõpetuseks, et võrdsete parameetrite arvu korral on informatsioonikriteeriumite puhul otsustuskriteeriumiks sisuliselt tõepärafunktsiooni väärtus.