Ülevaade uurivast tarkvara testimisest

Date

2014

Journal Title

Journal ISSN

Volume Title

Publisher

Abstract

Uuriv testimine on testimismeetod, millele pani aluse Cem Kaner 1983. aastal. Käesoleva magistritöö eesmärk on analüüsida, millises ulatuses kasutatakse uurivat testimist Eesti ja Soome tarkvaraettevõtetes ning milline on nende ettevõtete kogemus uuriva testimise osas. Samuti on eesmärgiks otsida seoseid rollide, töökogemuse, asukoha, ettevõtte suuruse, ettevõtte ajaloo, testimise korralduse ja uuriva testimise kasutamise viisi vahel. Lisaks pakub huvi, mida testijad arvavad uuriva testimise meetodist, millised on uuriva testimise eelised ja puudused ning kuidas plaanitakse uurivat testimist täiustada. Eesmärgi saavutamiseks viidi läbi küsitlus isikute hulgas, kes on tööalaselt seotud testimisega. Kahe kuu jooksul saatsid vastused 61 küsitletut, kellest 50 on pärit Eestist ja Soomest. Töös tehakse kokkuvõte saadud vastustest ning vastatakse kolmele peamisele uurimisküsimusele, milleks on: Mis iseloomustab küsitlusele vastanuid, kes kohaldavad uurivat testimist Eestis ja Soomes ja milline kogemus on nende ettevõtetel uuriva testimise kasutamisega? Millised faktorid mõjutavad uuriva testimise kasutamist Eesti ja Soome ettevõtetes? Mida arvavad tarkvaratehnikud uurivast testimisest? Küsitlusele vastanute hulgas on kõige rohkem testijaid (48%) ja juhtivaid testijaid (36%). Ligi 50% vastanutest on rohkem kui 5 aastat töökogemust. Eesti testijatest kasutab uurivat testimist suurem osa (50%) kui Soome testijatest (38%). Uurivat testimist kohaldatakse väikestes ettevõtetes (vähem kui 50 töötajat, 56%) rohkem kui suurtes (32%). Üle 50% ettevõtetest, kus uurivat testimist kohaldatakse, on vanemad kui 5 aastat. Ligikaudu 76% vastanutest, kes kasutavad uurivat testimist, kuuluvad oma ettevõttes eraldiseisvasse testimisorganisatsiooni. Töökogemus tundub olevat Eestis ja Soomes peamine faktor, mis mõjutab, kas uurivat testimist kasutatakse või mitte. Vastanud, kellel on pikaajaline töökogemus, kasutavad uurivat testimist rohkem kui need, kellel on väiksem töökogemus. Ettevõtte suurus on märgatavalt erinev Eesti ja Soome uurivat testimist kohaldavate ettevõtete vahel. Eestis eelistavad kasutada uurivat testimist vastanud väikestest ettevõtetest, kuid Soomes kasutavad uurivat testimist rohkem suurtest ettevõtetest pärit vastajad. Vastajad toovad välja, et uuriv testimine soosib loovust ning on efektiivne. Samas arvavad mõned vastanud, et uuriv testimine nõuab testijalt suuremat testimisalast võimekust, mis tähendab, et uuriv testimine ei sobi igaühele. Mõned vastanud saavad kasutada uurivat testimist vaid vähestes olukordades, mistõttu leiavad nad, et uuriv testimine ei ole paindlik. Peamine probleem uuriva testimisega on, et seda on raske salvestada. Enamik vastanutest on valmis muutma uuriva testimise salvestamise strateegiat.
Exploratory Testing (ET) is a testing method that was created by Cem Kaner in 1983 [1]. [Pleease double-check: In the references (Section 6) it says Kaner, Falk and Nguyen, and the year is 1993. ET was created in 1983, but this was mentioned in references [6] in 1993]The objective of this thesis is to investigate to what extent ET is currently applied in Estonian and Finnish software companies and what experience the companies have with using ET. Also, we want to know more about the relationship between role, working experience, location, company size, company history, type of test organization and the way how ET is used. In addition, we try to find out how testers think about ET, e.g., the advantages and disadvantages of ET, and how they plan to improve ET. To achieve the objective of this thesis, we decided to use a survey to gather replies from testing relevant roles. After over 2 months, we got 61 replies. 50 are from Estonia and Finland. We summarize all information and answer three main research questions of this study, which are: RQ 1: What characterizes those respondents that apply ET in Estonia and Finland and what experience do their companies have with using ET? RQ 2: Which factors have an influence on using ET in Estonian and Finnish companies? RQ 3: How do software engineers think about ET? Respondents in Estonian and Finnish companies who apply ET are mostly testers (48%) and test managers (36%). Close to 50% of the respondents have more than five years of working experiences. More Estonian testers (50%) use ET than Finnish testers (38%). ET has been applied in small companies (less than 50 employees, 56%) relatively more often than in large companies (32%). Over 50% of the companies applying ET are older than 5 years. About 76% of the respondents who use ET are members of a separate testing organization within their company. “Working experience” seems to be the main factor that influences whether a company applies ET in Estonia and Finland. Respondents who have much working experience use ET more than those who have less working experience.“Company size” is significantly different between those companies which apply ET in Estonia as compared to Finland. Respondents who are from smaller companies in Estonia prefer using ET, but in Finland, bigger companies’ respondents use ET more than those who are from smaller companies. Respondents consider that ET supports creativity, and ET are efficient and effective. Meanwhile some respondents think ET requires higher testing ability for testers, which means ET does not suit for everyone. Some respondents can use ET for so limit testing situations that make them considering that ET is inflexible. The main problem which ET brings is“hard to record”. Most respondents are willing to change the recording strategy of ET.

Description

Keywords

Citation