Application of hidden Markov models in financial time series analysis

Abstract

This thesis studies the use of hidden Markov models (HMMs) for market-regime identification in financial time series, with particular attention to the role of decoding in interpreting fitted regimes. The analysis considers three decoders: the Viterbi path, the pointwise maximum a posteriori (PMAP) path, and a hybrid decoder that balances global path coherence against pointwise classification accuracy. The methodological contribution is to evaluate how these decoders behave in segmentation problems and to show that a small positive hybrid weight can serve as a conservative PMAP-leaning choice when fitted transition matrices contain zero or near-zero entries. A simulation study investigates the effects of state dependence, emission overlap, and the hybrid weight parameter on decoding quality. The results show that decoding becomes substantially more difficult when dependence is weak and emission distributions overlap strongly. PMAP generally achieves slightly lower classification error than Viterbi, while small positive hybrid weights remain close to PMAP in accuracy and modestly reduce incoherent decoded transitions. The empirical application fits a three-state HMM with Gaussian emissions to weekly and fixed-interval monthly CSI 300 returns. At the weekly frequency, heavy overlap between the estimated regimes and implausible transition dynamics make the classification economically weak. The monthly model is more interpretable, especially in the earlier sample, but after 2016 it assigns most observations to the sidewalk state, making the regime map too coarse. An expanding-window monthly trading validation also underperforms buy-and-hold. Overall, the thesis shows that a simple three-state HMM with Gaussian emissions is only partly adequate for the CSI 300, and that data frequency, regime separability, and model fit matter more than the choice among closely related decoders. Käesolevas magistritöös uuritakse varjatud Markovi mudelite (HMM) kasutamist tururežiimide tuvastamisel finantsaegridades, pöörates seejuures erilist tähelepanu dekodeerimise rollile hinnatud režiimide tõlgendamisel. Vaadeldakse kolme dekooderit: Viterbi joondust, punktiviisilisi tinglikke tõenäosusi maksimeerivat PMAP-joondust ning hübriidjoondust, mis tasakaalustab globaalse seisundijada kooskõla ja punktiviisilist klassifitseerimistäpsust. Töö metodoloogiline panus seisneb selles, et hinnatakse nende dekooderite käitumist segmenteerimisülesannetes ning näidatakse, et väike positiivne hübriidkaal võib toimida ettevaatliku PMAP-lähedase valikuna juhul, kui hinnatud üleminekumaatriks sisaldab null- või nullilähedasi elemente. Simulatsiooniuuring käsitleb sõltuvuse, emissioonijaotuste kattuvuse ja hübriidkaalu mõju dekodeerimise kvaliteedile. Tulemused näitavad, et dekodeerimine muutub oluliselt raskemaks siis, kui sõltuvus on nõrk ja emissioonijaotused kattuvad tugevalt. PMAP saavutab üldjuhul veidi väiksema klassifitseerimisvea kui Viterbi, samal ajal kui hübriidjoondus, kus Viterbi on väikese kaaluga, jääb täpsuselt PMAPile lähedaseks. Empiirilises osas rakendatakse CSI 300 indeksi nädala- ja fikseeritud intervalliga kuutootlustele kolme olekuga HMM-i, mille emissioonijaotused on Gaussi jaotused. Nädalasagedusel muudavad hinnatud režiimide emissioonijaotuste tugev kattuvus ja ebarealistlik üleminekutõenäosuste dünaamika klassifitseerimise majandusliku tõlgenduse nõrgaks. Kuutootlustel põhinev mudel on paremini tõlgendatav, eriti valimi varasemas osas, kuid pärast 2016. aastat liigitatakse enamik vaatlusi trendita režiimi, mistõttu muutub režiimikaart liiga jämedaks. Ka paisuva aknaga kuine kauplemisreegli valideerimine jääb ostu-ja-hoia strateegiale alla. Kokkuvõttes näitab töö, et lihtne kolme olekuga HMM Gaussi emissioonijaotustega sobib CSI 300 jaoks ainult osaliselt ning et andmesagedus, režiimide eristatavus ja mudeli sobivus mängivad olulisemat rolli kui dekodeerimismeetodi valik.