Weryfikacja badań jakościowych UX

Kto miał choć trochę do czynienia z psychologią lub socjologią ten wie, że to, co ludzie deklarują, a jak się w rzeczywistości zachowują, to dwie różne rzeczy. Dlatego UX Designerzy tak kochają dane z Google Analytics, MixPanela, czy Optimizely. Twarde dane jednak nie odpowiadają na pytanie „dlaczego?”. Na przykład: „Dlaczego użytkownicy po rejestracji nie korzystają z produktu?” Dlatego warto korzystać zarówno z metod ilościowych i jakościowych, a szczególnie tych drugich, w sytuacji gdy tworzysz produkt zupełnie od początku.

Budując startup nie masz zbyt wielu danych ilościowych, na jakich możesz się oprzeć. Poza tym możesz nie znać tematu, ani specyfiki potrzeb użytkowników, a prawidłowo przeprowadzone rozmowy mogą otworzyć oczy na sprawy, które wcześniej nie przyszłyby Ci do głowy. Z niniejszego artykułu dowiesz się, w jaki sposób formułować pytania i właściwie zdobywać informacje, aby tworzyć produkty użyteczne i odpowiadające na rzeczywiste, a nie pozorne potrzeby użytkowników.

Czego należy unikać


Jednym z najbardziej naiwnych i nagminnych pytań jest: „Czy korzystałbyś z tego produktu?” Większość osób po badaniu odpowie zapewnie bezrefleksyjnie: „Tak” albo „Możliwe”. Nie dlatego, że im się spodobało, tylko dlatego, że są mili. Zostali zaproszeni na rozmowę, spotkali się z miłym podejściem, mają na dodatek otrzymać za nie wynagrodzenie. A nam przecież od dzieciństwa wpaja się, że należy być miłym. Jako dzieci byliśmy uczeni, że trzeba mówić prawdę, a jednocześnie, iż nie można jej mówić wtedy, gdy możemy sprawić komuś przykrość („Nie mów, że ta pani jest gruba!”).

Miejmy na uwadze, że niektórzy badani, nie chcąc sprawić nam przykrości, będą mówić miłe rzeczy. Pomyślcie o testowaniu pomysłów, makiet itp. na swoich kolegach z pracy. Czy aby na pewno wszyscy będą szczerzy?Poza tym zastanówmy się, co nam przyjdzie z zadawania zamkniętych pytań, czyli takich, gdzie odpowiedź może być: Tak, Nie, Nie wiem? One prowadzą w ślepy zaułek, nie pozwalają na otwarcie się badanego.

Nie manipuluj pytaniami, np.:
– „Jak bardzo chciałbyś korzystać z tego produktu?” – w tym pytaniu jest presupozycja, że badany w ogóle chce korzystać.
– Co Ci się podoba w tym produkcie? – czy nie pytamy po to, żeby usłyszeć, jaką świetną pracę wykonaliśmy? Nie dość, że z góry każemy skupić się uwagę badanego na plusach to nie drążymy dalej tematu. Jeśli mu się podoba, to warto dopytać, co dokładnie mu się podoba, jaki to rozwiązuje problem? A może nie rozwiązuje, tylko ładnie wygląda?

Teraz porada trudna do realizacji – bądź świadomy swojej komunikacji pozawerbalnej i staraj się przynajmniej minimalizować jej efekt. Początkujący badacze (szczególnie ci, którzy lubią postawić na swoim), mogą niejawnie sugerować odpowiedź, np. prezentując jedno rozwiązanie (wymyślone przez nielubianego kolegę) krzywiąc przy tym usta, a potem drugie rozwiązanie (wymyślone przez siebie) uśmiechając się przy tym. Takie zachowanie nie nagra się na dyktafon, a taki “badacz” zyska być może pozorne wyniki. Nie szukaj na siłę potwierdzenia własnych hipotez i nie sugeruj tego w żaden sposób.

Warto wystrzegać się własnych opinii, np. sformułowań typu: „Też tak myślę” albo „Dobrze, że pani to zauważyła!” Bądź otwarty na to, że możesz się mylić. Słuchaj, co do Ciebie się mówi. Zwracaj uwagę na sygnały pozawerbalne płynące od osoby badanej, ale nie przesadzaj z interpretacją (np. nie wierz w bajki NLP mówiące o tym, że kierunek, w jakim patrzy Twój rozmówca wskazuje, czy mówi prawdę, czy zmyśla).

Unikaj także żargonu w pytaniach i technicznej terminologii. Być może w Twojej firmie wszyscy tak mówią i się rozumieją, ale Twoi rozmówcy niekoniecznie będą wiedzieć, o co pytasz, a będzie im może głupio się dopytać.

Czy wprowadzenie w błąd jest dobre?


Zanim przejdę do tematu, jak prawidłowo formułować pytania, opowiem historię o ocenianiu komputerów. Przeprowadzono eksperyment, w którym podzielono badanych na dwie grupy. Badani uczyli się języka hiszpańskiego przy udziale komputera.

W pierwszej grupie, po zakończeniu lekcji, komputer prosił o ocenę jego pracy w skali od 0 (beznadziejnie) do 100 (rewelacyjnie). Był też komunikat, że im wyższa liczba, tym wyższa ocena pracy tego komputera. Badany musiał wpisać liczbę.

W drugie grupie komputer wyświetlał na końcu informację, że to jest koniec, dziękuje i prosi, aby przejść do innego komputera, który znajduje się w przeciwległym rogu laboratorium. Badany przechodził do tego komputera i widział komunikat, że tu zbierane są oceny pracy innych komputerów i należy ocenić komputer, na którym badany pracował w skali od 0 do 100.

Ocena jakości lekcji języka hiszpańskiego zależała od tego, czy pytał o to komputer, który brał udział w tej lekcji (ocena była wyraźnie wyższa), czy ten inny komputer, który był w oddaleniu (ocena była wyraźnie niższa).
„My nawet komputerowi nie potrafimy powiedzieć, że jest beznadziejny, tylko innemu komputerowi mówimy, że tamten jest beznadziejny.” – prof. Dariusz Doliński.

Jeszcze gorzej, gdy wpadniemy na pomysł, aby przeprowadzić wywiad grupowy, a nie mamy doświadczenia w moderowaniu grup. Wówczas dość łatwo może zajść zjawisko konformizmu społecznego, czyli ludzie bezrefleksyjnie będą brać przykład z innych ludzi. Nagle okaże się, że wszyscy mają takie a nie inne zdanie.

Bądź też przygotowany na pytania od osób badanych. Czasami sondują swoimi pytaniami, chcąc dowiedzieć się, jak się mają zachować (aby nie wyjść na głupka, żeby się przypodobać), albo jak dana rzecz działa? Odpowiedz pytaniem na pytanie, np. „A jak Ty myślisz?”, albo zapewnij badanego, że to nie on jest przedmiotem badania, tylko np. dany projekt i może mówić, co myśli.

Jest sposób, aby uniknąć braku szczerości ze strony badanych i niekoniecznie wiąże się to z wykrywaczem kłamstw. Pamiętajmy, że jeśli sądzimy, że nasza opinia nie jest przedstawiana bezpośrednio danej osobie odpowiedzialnej za projekt, to mamy większą swobodę wypowiedzi.

Jeśli więc przeprowadzamy badanie, to nie ujawniajmy, że jesteśmy autorami projektu czy pomysłu na rozwiązanie danego problemu. Udawajmy, że poproszono nas o przebadanie, a sami nie jesteśmy zorientowani w temacie.

W jaki sposób przygotować pytania na wywiad, by uniknąć pozornej weryfikacji?

Na początku zastanów się, co jest celem badania i jak ten cel przedstawisz osobom badanym (np. że jest to próba lepszego zrozumienia danego problemu albo w przypadku testu użyteczności, że będziesz wdzięczny za odkrycie pozytywnych aspektów produktu jak i negatywnych). Opracuj krótkie wprowadzenie obejmujące powitanie i podziękowanie za wzięcie udziału w badaniu, dodaj tzw. „small talk”. Opowiedz pokrótce o procedurze, ile czasu będzie trwała rozmowa (nie nazywaj tego badaniem). Zapewnij też badanego o anonimowości (w niektórych sytuacjach to jest kluczowe) i że każda odpowiedź jest dobra.

Osoba badana powinna czuć się komfortowo, więc zadbaj o to, jak tylko możesz. Poproś o szczerość, powiedz, że nie jesteś autorem danego badanego produktu. Staraj się być neutralny. Poinformuj, że w każdym momencie badanie można zakończyć bez ponoszenia konsekwencji. Sprawdź, czy wszystko jest jasne dla Twojego rozmówcy. Pamiętaj, aby nagrać rozmowę (oczywiście za zgodą). Kiedyś nie notowałem tego, co mówi badany, aż do momentu, gdy po jednym teście użyteczności okazało się, że nagrał się tylko obraz bez dźwięku. Lepiej więc notuj w trakcie badań, a po spotkaniu sporządź krótką notatkę. Nie polegaj w 100% na swojej pamięci i na sprzęcie rejestrującym.

Stwórz listę pytań i zadbaj, aby miała logiczną strukturę. Nie skacz z tematu na temat. Aby temu zapobiec, warto stworzyć coś w rodzaju mapy myśli (mind mapping). W centralnych punktach umieść pytania otwarte, które  pozwalają na swobodną wypowiedź, a z których następnie rozchodzą się pytania powiązane. Warto ograniczyć pytania zamknięte (na które odpowiedzią może być „Tak” lub „Nie”) do minimum, tylko czasem mogą okazać się konieczne.

Dzięki takiej mapie będzie Ci łatwo znaleźć właściwe pytania, zwłaszcza, gdy zależą od poprzednio udzielonych odpowiedzi. Ustal jakie informacje wydają się być najważniejsze, a które możesz pominąć? Praktyka czyni mistrza i o ile na początku być może dość sztywno będziesz prowadzić rozmowy zaglądając w kartkę, to później nabierzesz większej swobody.

Nie opieraj się na wyobraźni osoby badanej i nie każ jej myśleć w sposób hipotetyczny. Pytania takie jak: „Myślisz, że inni ludzie chcieliby skorzystać z takiego produktu?” nie są w rzeczywistości pomocne, bo nie można na nich bazować. Niewiele dowiesz się zadając pytania: „Jak łatwa jest nawigacja?”, bo kto powiedział, że jest łatwa? Dla Ciebie jest łatwa, bo ją zaprojektowałeś, albo zrobił to ktoś z Twojego zespołu. A co może powiedzieć badany: „No dość łatwa”, inny powie: „Spoko”, a jeszcze inny: „Może być”. Nie ma w tych odpowiedzi żadnej skali, do której możesz się odnieść. Każdy może co innego rozumieć przez takie sformułowania.

Możesz pytać o konkretne wydarzenia z przeszłości (choć Jakob Nielsen ostrzega, żeby nie pytać o to, jak ludzie zwykle się zachowują, bo mają tendencję do zbytniego idealizowania) albo jak teraz osoba rozwiązuje dany problem, np. „Pokaż, jak na tej stronie realizujesz przelew. Mów proszę na głos, o czym myślisz realizując każdy krok płatności.”, „W jaki sposób ostatnio kontaktowałeś się z Biurem Obsługi Klienta? Dlaczego wybrałeś ten sposób, a nie inny?”

Jeśli badany milczy, to nie przychodź mu od razu z pomocą. Poczekaj, może powie Ci o czymś, na co sam byś nigdy nie wpadł. Jeśli rozmówca mówi, to pozwól mu się wygadać i nie przerywaj.

Zrób koniecznie badanie pilotażowe. Sprawdzisz w praktyce czy Twoje pytania układają się w logiczną całość i czy na pewno otwierasz osoby badane na szczere wypowiedzi.

Właściwe pytania to takie, które wiążą się z podjęciem w pełni świadomej decyzji i wysiłku po stronie badanego. Jeśli badany jest w stanie poświęcić własny czas i wydać pieniądze, to prawdopodobnie stanowi Twoją grupę docelową. Użyj takich osób do zbudowania person, przeprowadź pogłębione wywiady, staraj się nawiązać kontakt. W przyszłości mogą to być Twoi klienci, którzy będą polecać Twój produkt znajomym.

Pamiętaj, że gdy osoba badana jest świadoma, że ma ponieść jakiś koszt, to wychodzi ze swojego bezrefleksyjnego stanu i zaczyna rzeczywiście się zastanawiać. Na początku dowiedz się, czy za rozwiązanie danego problemu osoba badana jest gotowa zapłacić pieniądze. A potem drąż temat, bo nawet jak znajdziesz osoby, które są gotowe zapłacić za rozwiązanie problemu (np. za to, że schudną i będą zdrowsi), to niekoniecznie zapłacą za Twój produkt (np. za aplikację desktopową, gdzie będą musieli wpisywać i liczyć każdą kalorię). Całkiem możliwe, że Twój rozmówca już teraz korzysta z narzędzia konkurencji i płaci za to rozwiązanie. Dopytaj wówczas, dlaczego płaci, które funkcjonalności są dla niego tak ważne.

Warto formułować tak pytania, aby badani zaczęli rozważać:

    1. Czy to jest warte mojego czasu?
    2. Czy jestem gotów za to płacić?
    3. Czy będę chciał podzielić się tym ze swoimi znajomymi?

Więcej na ten temat poniżej, warto jednak siegnąć po wystąpienie Steve Cohna na ten temat. Gdy nadejdzie moment zakończenia rozmowy powiedz po prostu, że dziękujesz za rozmowę i zapytaj, czy osoba badana ma jakieś pytania.

Ad. 1 Czas


„Czas to pieniądz” – mówi przysłowie. Jesteśmy przyzwyczajeni, żeby wynagradzać osoby badane za czas nam poświęcony. Ale czy rzeczywiście ZAWSZE tak powinniśmy robić?

W przypadku testów użyteczności, które mają na celu znalezienie podstawowych błędów, wynagrodzenie ma sens. Natomiast jeśli zależy Ci na ocenie danego rozwiązania czy pomysłu, to staraj się nie płacić za takie badanie. Bo skoro ktoś nie chce poświęcić nawet 30 minut swojego czasu za darmo, to znaczy, że pewnie nie będzie chciał kupić produktu, bo to się wiąże z uszczupleniem jego konta bankowego.

Ad. 2 Pieniądze


„Czas to pieniądz, a pieniądz to więcej niż czas.” – Edgar Allan Poe
Jeśli musisz płacić badanym kwoty, które nie są symboliczne, to może znaczyć, że chcą zarobić i w ogóle nie interesuje ich Twój produkt. Nie są więc Twoją grupą docelową.

Dan Norris szczerze opisuje w książce pt.: „Startup w 7 dni” nieudane próby rozkręcenia biznesu. Uczula na to, że choć twórcy Dropboxa udało się z landing pagem i zbieraniem adresów email, to w wielu innych przypadkach nie było tak dobrze. Ludzie stosunkowo łatwo godzą się podawać adres email, gdy ich coś interesuje, ale to wcale nie znaczy, że chcą za coś zapłacić.

Inną ciekawą rzeczą jest opis, jak Dan Norris zadał pytanie: „Czy jesteś gotowy/gotowa zapłacić za taki produkt, gdybym go stworzył?”. Otrzymał wyniki mówiące, że 60% byłoby prawdopodobnie gotowych zapłacić, a ok. 20%, że na pewno by zapłaciło. A jaki był prawdziwy efekt? „Po uruchomieniu serwisu większość subskrybentów wersji beta nawet nie użyło produktu. Nikt za niego nie zapłacił.”

Autor jednak wspomina, że jego produkt był po prostu niedopracowany. Nie wspomina też o cenie, która ma znaczenie podczas decyzji zakupowych. Być może chciał za dużo w stosunku do tego, czego się spodziewali ankieterzy?

Dla osób związanych z badaniami te wnioski są bardzo cenne. Pokazują bowiem, że nie możemy ślepo wierzyć w wyniki ankiet. „Posłużyliśmy się metodą ilościową, obiektywną” – a w rzeczywistości takie wyniki mogą niewiele znaczyć. „Ludzie nie wiedzą, czego nie chcą, dopóki nie muszą sięgnąć do swojego portfela.” – Dan Norris.

Ad. 3 Poleć znajomym

Metoda NPS (ang. Net Promoter Score) wydaje się być dobrym przykładem prawidłowo zadanego pytania, ponieważ badany musi pomyśleć o konsekwencjach związanych z poleceniem produktu swoim znajomym: „Jak prawdopodobne jest to, że polecisz ten produkt swojemu znajomemu?”

Nie polecamy przecież zwykle produktów na FB, które są dla nas obojętne, tylko te, na których nam zależy z jakiegoś powodu.

Podsumowanie


Trzeba zadawać właściwe pytania we właściwy sposób właściwym ludziom 🙂 A to czego się dowiesz z rozmów z osobami badanymi będzie miało wpływ na Twój produkt.
Jeśli znajdziesz osoby, które powiedzą Ci trzy raz tak: poświęcą swój czas, będą gotowe kupić Twój produkt i chętnie polecą Twój produkt znajomym, to będziesz na dobrej drodze do sukcesu. Skup się na tych osobach, bo to twoja grupa docelowa i musisz o niej wiedzieć jak najwięcej.

Nie mów badanym, że jesteś autorem danego rozwiązania, projektu czy makiety. W ten sposób zmniejszysz szanse wystąpienia pułapki, że ktoś będzie dla ciebie miły, a nie szczery.

Chciałoby się powiedzieć – bądź jak Steve Blank, który odkrył: „There are no facts inside your building, so get outside.” Ale tak naprawdę odkrył to już blisko 100 lat temu Bronisław Malinowski. A więc bądź jak polski antropolog społeczny – wyjdź do swojej grupy docelowej bez bagażu opinii innych ludzi i przygotowanych teorii, obserwuj zachowania osób badanych i słuchaj, co mają do powiedzenia.

I nie ograniczaj się tylko do jednej metody badawczej.

➔ Kurs Product Ownera - 26 unikalnych lekcji, dostępnych w platformie e-learningowej. Zapisz się już dziś!

Dołącz do naszych czytelników

Dołącz do 1 700+ subskrybentów otrzymujących nasz cotygodniowy newsletter z inspiracjami do tworzenia coraz lepszych produktów i rozwoju swojej kariery.
Product Designer, konsultant. Projektuje aplikacje webowe i mobilne z myślą o ludziach. Psycholog z wykształcenia. Posiada doświadczenie w pracy jako Designer w agencjach reklamowych, software housach i międzynarodowych startupach. Projektował m.in. dla Onetu, Interii, AirHelp, EasySend, SKOKu, Banku BPH, Disneya.

3 KOMENTARZE

  1. “Natomiast jeśli zależy Ci na ocenie danego rozwiązania czy pomysłu, to staraj się nie płacić za takie badanie. Bo skoro ktoś nie chce poświęcić nawet 30 minut swojego czasu za darmo, to znaczy, że pewnie nie będzie chciał kupić produktu, bo to się wiąże z uszczupleniem jego konta bankowego.” <- wydaje mi się to dość kontrowersyjnym stwierdzeniem i mam wątpliwość 🙂
    Czemu ktoś obcy miałby chcieć wziąć udział w badaniu mojego produktu za darmo + jeśli nie weźmie udziału to znaczy, że pewnie nie jest zainteresowany tym produktem?
    Czy to poparte jest jakimiś badaniami? Chciałbym dobrze to zrozumieć, bo wydaje mi się mocne, ale nie do końca bym się z tym zgodził 🙂 Z góry dzięki za odpowiedź!

    • Cześć Tomku,
      cieszę się, że dopytujesz. Z mojej perspektywy nie ma tu nic kontrowersyjnego, może nie wyraziłem się zbyt precyzyjnie, a może po prostu patrzymy na to zagadnienie bazując na innym doświadczeniu. Nie uważam, że mam monopol na rację, jeśli masz inne zdanie, możesz się nim ze mną podzielić.
      Zauważyłem, że prowadzisz bloga. Powiedz mi proszę, kto jest Twoim docelowym użytkownikiem, w jaką grupę osób celujesz i czy dajesz swoje artykułu do przeczytania komuś, zanim je opublikuesz? Ja tu widzę analogię do wytwarzania produktu 🙂
      Załóżmy, że napisałeś artykuł na temat Jiry i zanim go opublikujesz chcesz dać komuś do przeczytania, żeby zweryfikował, czy Twoj artykuł oferuje jakąś korzyść dla czytelnika – z Twojej grupy docelowej. Czy o ocenę takiego artykułu poprosisz panią w kiosku i zapłacisz jej 100 zł? Myślę, że możesz założyć, że jej opinia nijak będzie się miała do opinii osób z Twojej grupy docelowej. Albo niewiele zroumie i ci to powie, albo powie, że fajny artykuł i zapyta, gdzie jest jej 100 zł? 😉 Tymczasem jeśli znalazłbyś osobę, która NAPRAWDĘ chciałaby się dowiedzieć czegoś na temat JIry, to za darmo by poświęciła swój czas, przeczytałaby Twój artykuł i podzieliła się z Tobą swoimi uwagami.
      Uważam, że warto znaleźć właściwą, zainteresowaną osobę do danego rodzaju badania, która jest zaangażowana, której zależy na rozwiązaniu danego problemu.
      Nie raz znajdowałem osoby, które za darmo poświęciły mi swój czas i wiem, że to może być trudne. Podam Ci przykład z życia – ostatnio projektowałem czata (widzę z bloga, że temat Cię interesuje), znalazłem kierownika biura obsługi klienta, którego zespół (jak i on sam) korzysta z tego typu komunikacji z klientami. Podzielił się ze mną swom doświadczeniem i uwagami, było to strasznie cenne. Bez tego na część funkcjonalności bym nie wpadł, Gdybym potem stworzył makietę, napisał scenariusze, zadania dla badanych i przeprowadził badania usability, to by te kwestie w ogóle nie wyszły. Uważam, że wgląd osoby zaangażowanej w rozwiązanie danego problemu daje lepsze rezulaty.
      Zwróć proszę uwagę, że odróżniam tu weryfikację pomysłów / koncepcji od badań innego rodzaju, jak badania usability. W kontekście analogii do artykułu, badanie usability oznaczałoby sprawdzenie czy są błędy ortograficzne, interpunkcjne, czy szyk zdań jest poprawny, czy zdania są logiczne… Za taką pracę należy się płaca. To wszystko zależy od celu badania.

      A jak ktoś nie chce za darmo wziąć udziału w Twoim badaniu? Możliwe, że nie chce poświęcić czasu, bo nie jest zaangażowany, może nie potrzebuje Twojego rozwiązania, bo już z jakiegoś korzysta i uważa, że jest okay. Może ma inne priorytety i tylko pieniądze są w stanie go przekonać, tego na pewno bym nie wykluczył. Może próbując zaprosić do badania, nie zrobiłeś tego w miły sposób (fantazjuję teraz). Przyczyny mogą być różne.

      Pytasz o weryfikację tego w badaniach – to jest bardzo trudne do zrobienia, bo musiałbyś mieć zespoł pracujący nad danym produktem i drugi zespół „kontrolny” także pracujący nad tym samym rozwiązaniem. Do tego musiałaby być powatarzalność uzyskiwana przez innych badaczy, inne zespołu pracujące nad innymi produkami.
      Spora część wiedzy, która dotyczy wytwarzania produktów, nie opiera się na rzetelnie przeprowadzanych badaniach. Posłużmy się znanym przykładem Dropboxa, gdzie twórca tego produktu stworzył landing page i zebrał wiele leadów. Wszyscy polecamy tę metodę, ale jaka jest jej realna skuteczność? Nie mamy pojęcia, ile firm posłużyło się tą metodą, nie wiemy, ile firm, które zebrało dużą ilość leadów potem poniosło porażkę. Nie mamy takich statystyk. Znamy jednak dane, że większość startupów upada, wg niektórych danych nawet 90%.

      Wybacz tak długą odpowiedź, mam nadzieję, że lepiej wytłumaczyłem Ci mój punkt widzenia.

ZOSTAW ODPOWIEDŹ

Please enter your comment!
Please enter your name here

Witryna wykorzystuje Akismet, aby ograniczyć spam. Dowiedz się więcej jak przetwarzane są dane komentarzy.