LLMs as a Tool for User Experience Research: A Comparison of Synthetic and Real-World Data

Abstract

This thesis examines whether large language models (LLMs) can effectively support early-stage User Experience (UX) research by generating synthetic user data. The study compares two datasets within the domain of online food delivery services: one from five semi-structured interviews with women aged 35-45 in Tallinn, and another generated using ChatGPT following the same interview guide. Interviews from both datasets were thematically analysed, and the resulting personas and user scenarios were assessed through a side-by-side review focusing on emotional nuance, demographic accuracy, coherence, and the realism of goals, tasks, and interactions. Results show that LLMs can produce coherent, structured, and context-relevant outputs that capture common user concerns such as navigation, delivery timing, and order modifications. Synthetic data proved useful for generating plausible personas and scenarios quickly, offering advantages in speed, consistency, and thematic breadth. However, the outputs often lacked the emotional depth, context-specific details, and behavioural variability present in real-world data. LLMs tended to generalise user behaviour, repeat similar points across participants, and occasionally introduce plausible but unfounded “false positives” that could misdirect research. Persona and scenario comparisons reinforced these trends, showing fewer concrete tasks, omission of some steps, and the inclusion of elements not mentioned by real-world participants. The findings suggest that LLMs can complement, but not replace, traditional qualitative methods. They are best used to accelerate exploration and extend research reach when time, budget, or participant access is limited, provided outputs are refined and validated by human researchers to ensure they reflect genuine user needs.

Käesolev magistritöö uurib, kas suured keelemudelid (LLM-id) suudavad tõhusalt toetada varajases etapis kasutajakogemuse (UX) uurimist, sünteetilisi kasutajaandmeid luues. Uurimus võrdleb kahte andmestikku veebipõhiste toidukulleriteenuste valdkonnas: ühte viiest poolstruktureeritud intervjuust Tallinna 35–45-aastaste naistega ning teist, mis loodi ChatGPT abil, kasutades sama intervjuujuhendit. Mõlema andmestiku intervjuud analüüsiti temaatiliselt ning saadud persoonasid ja kasutajastsenaariume hinnati üks-ühele võrdluses, seejuures keskendudes emotsionaalsetele nüanssidele, demograafilisele täpsusele, sidususele ning eesmärkide, ülesannete ja interaktsioonide realistlikkusele. Tulemused näitavad, et LLM-id suudavad toota sidusaid, struktureeritud ja kontekstipõhised väljundeid, mis kajastavad levinud kasutajamuresid nagu navigeerimine, kohaletoimetamise aeg ning tellimuse muutmine. Sünteetilised andmed osutusid kasulikuks usutavate persoonide ja stsenaariumide kiireks loomiseks, pakkudes eeliseid kiiruse, järjepidevuse ja temaatilise ulatuse osas. Siiski puudusid väljunditel sageli reaalsetes andmetes esinevad emotsionaalsed sügavused, kontekstipõhised detailid ja käitumuslik varieeruvus. LLM-id kaldusid üldistama kasutajate käitumist, kordasid osalejate vahel sarnaseid punkte ning tõid aeg-ajalt sisse usutavaid, kuid alusetuid „valepositiivseid“ tulemusi, mis võivad uurimistööd valesti suunata. Persoonade ja stsenaariumide võrdlused kinnitasid neid tendentse, näidates vähem konkreetseid ülesandeid, teatud sammude väljajätmist ning elementide lisamist, mida reaalsed osalejad ei maininud. Järeldused viitavad, et LLM-id võivad täiendada, kuid mitte asendada traditsioonilisi kvalitatiivseid meetodeid. Neid tasub kasutada eelkõige uurimise kiirendamiseks ja uurimisulatuse laiendamiseks olukordades, kus aeg, eelarve või ligipääs osalejatele on piiratud, eeldusel, et tulemusi täiustavad ja valideerivad inimuurijad, et tagada nende vastavus tegelikele kasutajavajadustele.