2 Doświadczenia respondentów w procesach badawczych. Wyzwania i możliwości
Badania doświadczenia użytkownika są przez nas traktowane jako niezbędny, ale też i neutralny element szerszego procesu projektowania. Co jednak, jeśli etap ten nie jest tak neutralny, jak sądzimy?
Gdzie kończy się pomiar, a zaczyna się wpływ?
Bogata literatura o projektowaniu doświadczenia użytkownika podkreśla, że niezbędne jest dostosowanie go do potrzeb i bolączek grupy docelowej. Do trafnego rozpoznania tych potrzeb niezbędne są badania. Rzadko zastanawiamy się jednak, na ile samo uczestnictwo w badaniach wpływa na kontakt użytkowników z produktem? Na ile doświadczenie bycia osobą badaną kształtuje późniejsze doświadczenie z przedmiotem badania? A skoro kształtuje – to w jaki sposób? W którym momencie? Czy dzieje się to w trakcie samego pomiaru? Już po nim, w bezpośrednim kontakcie z produktem? Pytanie to ma znaczenie, bo jeżeli mierząc rzeczywistość użytkownika, jednocześnie ją zniekształcamy, to czy pozyskana w procesie badawczym wiedza jest rzeczywiście uniwersalna? I jaki efekt jako badacze wywieramy na naszych użytkowników? Na podstawie dostępnej literatury możliwe jest postawienie hipotezy, że doświadczenie respondentów w procesie badawczym nie jest zjawiskiem neutralnym i że może mieć wpływ na przedmiot badania.
Już w latach 50. ubiegłego wieku pojawiły się sugestie, że sama świadomość uczestniczenia w badaniu – w tym przypadku bycia obserwowanym – wpływa na zachowanie. Henry A. Landsberger wprowadził wówczas pojęcie efektu Hawthorne, analizując eksperymenty przeprowadzone przez Eltona Mayo w fabryce Hawthorne właśnie. W eksperymentach tych manipulowano czynnikami takimi jak oświetlenie miejsca pracy, wynagrodzenie, rozkład przerw w pracy. Badacze opisali wówczas poprawę w efektywności pracy uczestników eksperymentu niezależnie od tych zmiennych, co zinterpretowano między innymi jako wpływ samego bycia obserwowanym na zachowanie. Co prawda, dziś wartość naukowa eksperymentów Mayo budzi wątpliwości osób analizujących dane surowe, a ich interpretację w ogóle uznaje się za nadużycie, jednak dane te wskazują, że sam fakt bycia obserwowanym mógł być w procesie przynajmniej zmienną zakłócającą pomiar, jeśli nie decydującą o wyniku1.
Jako osoba prowadząca między innymi badania jakościowe wielokrotnie byłam świadkiem, jak czynniki inne niż samo badanie wpływały na opinie wyrażane w wywiadach. Na przykład sam fakt bycia wynagradzanym sprawiał, że uczestnicy dyskusji czuli konieczność dzielenia się swoimi przemyśleniami nawet wtedy, gdy temat rozmowy nie był dla nich komfortowy. W przypadku grup fokusowych, poza licznymi zjawiskami charakterystycznymi dla pracy w grupie, takimi jak efekt synergii czy konformizm, widoczny był też wpływ, jaki sama rozmowa o produkcie wydawała się wywierać na opinię na jego temat. Część respondentów, rozpoczynając wywiad, użytkowała dany produkt bez większych emocji. Tymczasem po dwugodzinnej rozmowie, w której trakcie mogła poznać nową ofertę, pomysł na komunikację, albo po prostu opowiedzieć o swoich potrzebach, te osoby wychodziły ze spotkania pełne wrażeń, podekscytowane, niejednokrotnie deklarując entuzjazm dla testowanych zmian. Już sam fakt, że respondent spędza dużo czasu na rozmowie lub testowaniu produktu, który zazwyczaj nie zajmuje tak dużo miejsca w jego życiu, wywołuje pytanie, jak po takiej głębokiej interakcji wygląda jego kontakt z tym wyrobem. W niektórych przypadkach efekt był na tyle widoczny, że spotkałam się z rozważaniem, czy nie zastosować właśnie większej ilości wywiadów jako techniki budowania społeczności wczesnych użytkowników nowego typu produktu. Na ile takie zmiany są trwałe? W jakim stopniu rzeczywiście przekładają się potem na samo użycie produktu? W jakim stopniu podobne zjawisko występuje w badaniach ilościowych, zwłaszcza internetowych, gdzie mamy mniejszy wpływ czynników społecznych (respondent bierze udział w badaniu najczęściej sam), za to nadal silny wpływ samej sytuacji badawczej? Literatura na ten temat nadal nie jest obfita, choć ta obecnie dostępna sugeruje, że rozbieżność między deklaracjami a zachowaniem jest znacząca2.
Wybrana metodologia badania determinuje siłę oddziaływania na respondentów
To, co wiemy na pewno, to że sama forma badania wpływa na to, na ile będą zaangażowani jego uczestnicy, a tym samym – jakie informacje pozyskamy. Na przykład community – społeczność internetowa, do której rekrutowani są respondenci niejako „pracujący” dla konkretnej marki, wygeneruje nie tylko wyższą responsywność, ale też z czasem stworzy poczucie współodpowiedzialności za jakość badanego produktu, co z kolei może mieć wpływ na kolejne udzielane przez daną społeczność odpowiedzi. To rezultat stosowania w tej metodologii zróżnicowanych form aktywności dla respondentów, ale także budującej się wraz z każdym projektem relacji. Z kolei uczestnictwo w rozciągniętych w czasie badaniach dzienniczkowych może mieć wpływ na poziom motywacji wewnętrznej przy korzystaniu z produktu. Badania z 2014 roku prowadzone przez trzy miesiące wykazały u osób badanych spadek motywacji wewnętrznej do podejmowania gry, która była przedmiotem badania3. Dla kontrastu moje własne, mniej systematyczne obserwacje wskazują, że trwające krócej badania z wykorzystaniem autoraportowania (na przykład tygodniowe dzienniczki), jeżeli poprzedzają bezpośrednie spotkanie z badaczem, często zwiększają zaangażowanie w późniejszą rozmowę. Jednocześnie zwiększają dostępność poznawczą przedmiotu badania (testowanych usługi lub produktu), co z jednej strony pozwala na uzyskanie w wywiadzie większej ilości informacji, ale z drugiej strony – zniekształca wyobrażenie badacza o tym, na ile ważny jest w życiu respondenta sam przedmiot badania (może on wydawać się ważniejszy, niż jest w rzeczywistości).
Nie można też pominąć czynnika, jakim jest wejście w interakcję z badaczem, szczególnie (choć nie tylko) w badaniach jakościowych. Bezpośrednia, pogłębiona interakcja tego typu często obejmuje rozmowę o potrzebach użytkownika, wartościach, problemach i wyzwaniach, z jakimi mierzy się w pracy czy w życiu (w których chcemy go potencjalnie wesprzeć naszym produktem lub usługą). Wydaje się nieuniknione, że tego typu interakcja buduje więź bardziej intymną niż na przykład rozmowa z obsługą w sklepie i tym samym wywiera większy wpływ na osobę badaną – jest to szczególnie prawdziwe w przypadku takich technik badawczych jak etnografia, obserwacja uczestnicząca, czy nawet grupy fokusowe4. A mimo to nie poświęcamy temu efektowi jako badacze wiele uwagi, nie doczekał się on jeszcze szerszego opracowania, nie wiemy, jak sam akt badania zmienia osobę badaną czy też jej relację z przedmiotem badania.
Efekt samego uczestnictwa w badaniu staje się szczególnie wyraźny w przypadku eksploracji tematów wrażliwych: dane pokazują, że możliwość otwarcia się w rozmowie z badaczem na trudny temat, taki jak trauma czy na przykład stygmatyzująca choroba, przynosi głęboką autorefleksję i poczucie ulgi, przeradza się już w trakcie samego wywiadu w relację niemal terapeutyczną (wnioski Judith McCoyd i Corey Shdaimah)5. Z mojego doświadczenia badawczego wynika, że efekt ten nie ogranicza się do rozmów na bardzo trudne tematy i można go zaobserwować na przykład w wywiadach grupowych, w których uczestniczą osoby mierzące się z podobnymi wyzwaniami życiowymi (między innymi wchodzące w rodzicielstwo, poszukujące pracy czy cierpiące na bóle stawów). Tego rodzaju procesy budują poczucie wspólnotowości, a jednocześnie mogą wpływać na postrzeganie istotności produktu nakierowanego na podnoszenie problemów łączących respondentów. W przeprowadzanych przeze mnie badaniach, w których uczestniczyli na przykład rodzice małych dzieci, osoby cierpiące na nietrzymanie moczu czy też powracające po długiej przerwie na rynek pracy, rozmowy często kończyły się deklaracjami poczucia ulgi, bycia dostrzeżonym w swoich problemach, wysłuchanym. Uczestnicy doświadczali walidacji – potwierdzenia, że ich odczucia i zmagania są zgodne z tym, jak czują i przeżywają swoje wyzwania inne osoby w podobnej sytuacji. Ilu z nich skorzystało później z testowanych produktów czy usług, które miały pomóc im w codziennych wyzwaniach? Ilu z nich zrobiłoby to, gdyby nie uczestniczyło wcześniej w projekcie badawczym? Na te pytania trudno jest znaleźć odpowiedź. Mogę sobie wyobrazić eksperyment z uwzględnieniem grupy testowej – osób uczestniczących w badaniu – i kontrolnej (osób, które otrzymują ten sam zestaw informacji o testowanych usłudze lub produkcie co grupa eksperymentalna, ale w samym badaniu nie uczestniczą), który pomógłby lepiej zrozumieć, jak silny jest wpływ samej interakcji w trakcie badania na potencjalne korzystanie z produktu.
Wpływ uczestnictwa w badaniu widoczny jeszcze przed samym badaniem
Kiedy zaczyna się ten wpływ badania na osobę badaną? Możliwe, że wcześniej, niż sądzimy: istnieją dane sugerujące, że już sam fakt bycia zaproszonym do takiego projektu jest czynnikiem wprowadzającym zmianę. Badania Claire Hebenstreit i Anne DePrince (2012)6 pokazują, że 12% osób badanych czuło się zobowiązanych do uczestnictwa w projekcie badawczym, mimo że otrzymali jawny komunikat o dobrowolności udziału i możliwości wycofania się z badania w każdym momencie.
Mierzenie doświadczenia uczestników procesu badawczego
Skoro więc badanie nie jest procesem neutralnym – czy nadal ma wartość w procesie poznawania potrzeb i oczekiwań? Jestem przekonana, że tak. Nawet jeśli sam pomiar jest czynnikiem zakłócającym obiektywność obserwacji, to błąd przy nim jest nieporównywalnie mniej szkodliwy od działania po omacku czy wyłącznie na podstawie wiedzy eksperckiej. Jak w takim razie podchodzić do samego procesu badawczego, wiedząc o jego wpływie na doświadczenie respondenta?
Jedną z rzeczy, które warto wziąć pod uwagę – podobnie jak w przypadku samego produktu czy usługi – jest mierzenie tego doświadczenia w procesie badawczym. Wyzwaniem tu jest znalezienie odpowiednich metryk. Nieliczne opracowania dotykające tego tematu najczęściej wprowadzają w tym miejscu terminologię „zysku”, jaki osoby badane mają z uczestnictwa w projekcie. Warto jednak pamiętać, że rozmowa o zysku automatycznie otwiera też przestrzeń do rozmowy o „stratach”. Badanie więc staje się niejako transakcją. W przytoczonych wcześniej badaniach McCoyd i Shdaimah7 można dopatrzeć się potencjalnie innego wymiaru: relacyjności w kontekście interakcji osoba badana – badacz. Nie ma jednak żadnych standardów, wytycznych ani przyjętych narzędzi, żeby móc mierzyć, kontrolować i interpretować wpływ samego uczestnictwa w badaniu.
Pierwszym krokiem prowadzącym do odpowiedzi, jak należałoby mierzyć doświadczenie osób badanych byłaby – podobnie jak w przypadku każdego innego nieznanego nam obszaru – eksploracja. Poszukiwanie w rozmowie naturalnego języka, jakim respondenci po badaniach opisują swoje doświadczenia pozwoliłoby zaproponować odpowiednie wskaźniki, którymi można by je opisać. Gdyby następnie móc je ująć w jednym czy dwóch pytaniach, mogłyby się one stać standardowym elementem zamykającym każdy proces badawczy.
Drugim czynnikiem, który warto świadomie kształtować, jest sam przebieg procesu badawczego, a konkretnie – projektowanie go również pod kątem doświadczenia osoby badanej. Począwszy od samej formy rekrutacji, przekazywanych w niej komunikatów, przez czas trwania badania, aktywności, wykorzystywane materiały, po wyjście z procesu –wszystkie te etapy warto jest projektować świadomie, a jeśli jest to możliwe (na przykład w przypadku materiałów badawczych), testować przed spotkaniem z respondentami, zbierać informacje zwrotne na ich temat w celu ich optymalizacji.
Jeszcze jednym krokiem, który może wykonać badacz, jest bycie od czasu do czasu osobą badaną. Nie wyobrażanie sobie samego scenariusza, ale realne uczestnictwo w procesie, otwarcie się na takim poziomie, jakiego oczekujemy od naszych respondentów, doświadczenie być może bezbronności, jaka jest udziałem osoby badanej, pozwala lepiej zrozumieć, jak wysoko niekiedy stawiamy oczekiwania, na przykład w procesach eksploracyjnych czy nawet niektórych pomiarach ilościowych – i w przyszłości projektować badania tak, by zapewnić respondentom jak najwyższy komfort ich doświadczenia.
