Public agencies’ performance benchmarking in the case of demand uncertainty with an application to Estonian, Finnish and Swedish fire and rescue services

Abstract

Uuringuprobleem. Kui riigiasutus jaotab oma ressursse, on nõudlus nende teenuste järele tihti kindlalt teadmata. Omamata täielikku teavet nõudlusest, kindlustab otsustaja ennast nõudlusšokkide vastu täiendavate ressurssidega (suurendab valmisolekut). Kulu- ja tõhususanalüüsid eeldavad üldjuhul, et nõudlust iseloomustavad parameetrid on teada (või ei pöörata sellele tähelepanu), mis on aga ebarealistlik ega arvesta teenuse osutamise keerukusega riigiasutuses. Enamasti toob see kaasa soorituse tõhususe liiga madala hinnangu. Üleliigset ressursivarustatust (valmisolekut) teenuste osutamiseks võib osaliselt selgitada otsustajate riskikartliku käitumisega, mistõttu peaks riskihinnang olema osa soorituse hinnangust, vältimaks sellise ressursivarustatuse käsitlemist ebatõhususena. Ex ante, võttes arvesse oodatud nõudlust, võib ressursside jaotus olla optimaalne, kuid mitte ex post, kui on teada reaalne nõudluse tase.

Doktoritöö eesmärgiks oli välja töötada teoreetiline kontseptsioon ja rakendus, kuidas hinnata sooritust riigiasutuses, mis toimib ebakindla nõudluse tingimustes. Et hinnata mitme üksusega ja mitmel tasandil toimivat teenuseid osutavat riigiasutust ebakindla nõudluse tingimustes, loodi süsteem, milles hinnati (a) keskse riigiasutuse kulutõhusust, (b) allüksuste alavarustatust ja (c) allüksuste väljundtõhusust. Soorituse hindamiseks kasutati piirianalüüsi meetodeid (DEA, FDH, DFA) ning kontseptsiooni rakendati Eesti, Soome ja Rootsi päästevaldkonna näitel.

Tulemused ja tähtsus. Päästeteenuseid pakutakse mitmete allüksuste poolt erinevates piirkondades. Teenuste osutaja otsustab esialgselt, kuidas ressursid (päästjad, masinad) erinevates piirkondades jaotada, teadmata seejuures, kui palju päästesündmusi seal tegelikult aset leiab. Allüksused hoiavad teatud valmisoleku taset, et vajaduse korral päästesündmusele reageerida. Valmisoleku tagamine on aga kõige kulukam komponent eelarves, mistõttu on oluline, et ressursid oleks jaotatud nii, et ei tekiks liigseid kulusid, st minimeeritakse valmisoleku taset optimaalse mahu ja kvaliteediga päästeteenuse pakkumiseks. Saadud tulemused näitavad veenvalt, et mudelid, mis arvestavad nõudluse ebakindlusega, hindavad kulutõhususe kõrgemaks kui standardsed mudelid, olenemata hindamismeetodist või hinnatud riigist.

Description of the Problem. When planning the allocation of resources in public agencies, the demand for services is often unknown and prone to uncertainty. Without having the full information of the possible demand, the decision maker will insure oneself with additional standby capacity against upsurges in demand. Cost and efficiency studies predominantly assume known demand, which is unrealistic and hinders understanding the essence of service provision in public agencies. In many cases, it has probably resulted in underestimation of efficiency. The observed excess capacity can partly be explained by risk averse behaviour and should be incorporated to the analysis to avoid unjustly labelling such input usage as inefficiency. Ex ante, given expected demand, the resource allocation is optimal, but not ex post, given realised levels of demand. The challenge is to distinguish the necessary standby capacity from excessive mismanagement.

This thesis develops the theoretical concept and application to measure the performance of public agencies in the case of demand uncertainty. To evaluate the efficiency of a multi-unit and multilevel service providing public agency in the presence of demand uncertainty, one is interested in: (a) the cost-efficiency of the central agency, (b) any under-resourcing of subunits, and (c) the output-oriented technical efficiency of each subunit in jurisdictions. The suggested models would be the basis for planning resource allocation improvement in public agencies. The models are implemented using the example of the Estonian, Finnish and Swedish fire and rescue services. For estimation, different frontier analysis methods (DEA, FDH, DFA) are proposed.

Result and Benefit. Typically, the rescue authority decides beforehand to allocate resources (rescuers, vehicles, etc.) between different subunits in jurisdictions without knowing how many emergencies will occur. The subunits must maintain a certain level of standby capacity to be able to respond to emergencies. Sustaining the readiness, however, is the most expensive component in the running costs. The results show convincingly that the models taking the demand uncertainty in the form of minimum service level into account, estimate a higher cost-efficiency irrespective of the estimation method or country (with different level of centralisation for management) analysed.