Tõenäoline prognoosimine Monte-Carlo Dropout võrgustikuga

Date

2019

Journal Title

Journal ISSN

Volume Title

Publisher

Abstract

Intelligentsete süsteemide integreerimine meie tööstusharudesse nõuab täpsemaid ja usaldusväärsemaid algoritme. Hiljutistel katsetel modelleerida ja selgitada sügava õppe ebakindlust on olnud palju saavutusi, astudes edasi nende mudelite usaldusväärsemaks muutmiseks ja vastavalt praktilisemaks. Samal ajal on tõenäosuse prognoosimine sarnane katse hinnata muutuja tulevast väärtust tõenäosusliku väljendusega pigem punkthinnanguna. Sel päeval, seal ei ole palju uuringuid või uuringu tõenäosuslik prognoose Bayesi sügavat õppimist, mistõttu on huvitav ala panuse. Me pidasime seda uuringut huvitavamaks, kui tegime selle reaalmaailma probleemiga ja seetõttu valisime analüütilise uuringu kõrval tuuleenergia prognoosi. Me kohaldada Monte-Carlo Dropout (MCDO), variant sügav Bayesi võrgu approximator koos võrgu võimeline hindamiseks dispersiooni. See prognoositav dispersioon, mis on toodetud mudeli poolt, on võrdne tõenäosusliku prognoosiga ja lisaks näitame, kuidas saada kõrgema kvaliteediga prognoose, mis on täpselt ja paremini kalibreeritud stsenaariumi prognoosimisega katseaegadel. Samuti näitame, et MCDO rakendamise tulemused olid kooskõlas teiste töödega. Veelgi enam, meie lähenemisviis osutus võimekaks luua kõrge kvaliteediga tõenäosusliku prognoosi, mis on pigem lihtne seadistus ja eriline kohtlemine. Antud magistritöö tulemused ei peegelda mitte ainult tõenäoliselt prognoosimist, vaid ka Bayesi sügavat õppimist. Meie katsed näitavad Bayesi sügava õppe rakendamist edukalt ning viitavad sellele, et need meetodid on tee, kus lubadusi parandada täpsust, mastaapsust ja tõlgendatavust.
Integration of intelligent systems in our industries and society require more accurate and reliable algorithms. Recent attempts to model and explain uncertainty in deep learning has had many achievements, stepping forward toward making these models more reliable and respectively more practical. At the same time, probabilistic forecasting is a similar attempt to estimate the future value of a variable by a probabilistic expression rather a point estimate. The former is more useful as it incorporates uncertainty information on the forecast while the latter lacks this. To this day, there has not been much research or study on probabilistic forecasts with Bayesian deep learning, making it an interesting area for contribution. We considered this research to be more interesting by carrying it out on a real-world problem and therefore, chose the wind power forecast beside the analytical study. We applied Monte-Carlo Dropout (MCDO), a variant of deep Bayesian network approximator, together with a network capable of estimating the variance. This predictive variance, produced by the model, is equivalent to a probabilistic forecast and further, we show how to obtain higher quality forecasts that are accurate and better-calibrated by scenario forecasting at test-time. We also show that the results of the MCDO implementation were consistent with other works. Moreover, our approach proved to be capable of producing a high-quality probabilistic forecast with rather a simple setup and no special treatment. Results obtained in this thesis not only reflect on probabilistic forecasting but, also on the Bayesian deep learning. Our experiments show a successful use case of employing Bayesian deep learning and suggest that these methods are the way to go, with promises on improving the accuracy, scalability, and interpretability.

Description

Keywords

Citation