Variance Reduction In Online Controlled Experiments

Abstract

Veebipõhised kontrollitud katsed aitavad kindlaks teha põhjuslikke seoseid, jagades osalejad juhuslikult test- ja kontrollrühmadesse. Siiski võib katseandmete suur hajuvus katse mõjusid varjutada. Hajuvuse vähendamise tehnikad leevendavad seda probleemi, suurendades katse tundlikkust ning vähendades vajaliku valimi suurust ja katse kestust. Sageli ei suuda traditsioonilised hajuvuse vähendamise meetodid hajuvust tõhusalt vähendada, kuna need ei võta täielikult arvesse osalisi korrelatsioone mitme kovariandi ja ärimõõdikute vahel. Selles uurimistöös rakendame masinõppel põhinevaid hajuvuse vähendamise tehnikaid Eesti rahvusvahelise mobiilsusettevõtte Bolt Technology OÜ sisekasutuses oleval testimisplatvormil. Näitame, et sellised meetodid vähendavad katsemõõdikute hajuvust kuni 51,2% ja töötavad senistest ettevõttes kasutatud meetoditest 6% võrra paremini. Meie tulemused näitavad, et masinõppel põhinevad meetodid suudavad tõhusalt ületada traditsiooniliste meetodite piirangud, vähendades oluliselt hajuvust sõidujagamise valdkonna kontrollitud katsetes.