Kto miał choć trochę do czynienia z psychologią lub socjologią ten wie, że to, co ludzie deklarują, a jak się w rzeczywistości zachowują, to dwie różne rzeczy. Dlatego UX Designerzy tak kochają dane z Google Analytics, MixPanela, czy Optimizely. Twarde dane jednak nie odpowiadają na pytanie „dlaczego?”. Na przykład: „Dlaczego użytkownicy po rejestracji nie korzystają z produktu?” Dlatego warto korzystać zarówno z metod ilościowych i jakościowych, a szczególnie tych drugich, w sytuacji gdy tworzysz produkt zupełnie od początku.

Budując startup nie masz zbyt wielu danych ilościowych, na jakich możesz się oprzeć. Poza tym możesz nie znać tematu, ani specyfiki potrzeb użytkowników, a prawidłowo przeprowadzone rozmowy mogą otworzyć oczy na sprawy, które wcześniej nie przyszłyby Ci do głowy. Z niniejszego artykułu dowiesz się, w jaki sposób formułować pytania i właściwie zdobywać informacje, aby tworzyć produkty użyteczne i odpowiadające na rzeczywiste, a nie pozorne potrzeby użytkowników.

Czego należy unikać

Jednym z najbardziej naiwnych i nagminnych pytań jest: „Czy korzystałbyś z tego produktu?” Większość osób po badaniu odpowie zapewnie bezrefleksyjnie: „Tak” albo „Możliwe”. Nie dlatego, że im się spodobało, tylko dlatego, że są mili. Zostali zaproszeni na rozmowę, spotkali się z miłym podejściem, mają na dodatek otrzymać za nie wynagrodzenie. A nam przecież od dzieciństwa wpaja się, że należy być miłym. Jako dzieci byliśmy uczeni, że trzeba mówić prawdę, a jednocześnie, iż nie można jej mówić wtedy, gdy możemy sprawić komuś przykrość („Nie mów, że ta pani jest gruba!”).

Miejmy na uwadze, że niektórzy badani, nie chcąc sprawić nam przykrości, będą mówić miłe rzeczy. Pomyślcie o testowaniu pomysłów, makiet itp. na swoich kolegach z pracy. Czy aby na pewno wszyscy będą szczerzy?Poza tym zastanówmy się, co nam przyjdzie z zadawania zamkniętych pytań, czyli takich, gdzie odpowiedź może być: Tak, Nie, Nie wiem? One prowadzą w ślepy zaułek, nie pozwalają na otwarcie się badanego.

Nie manipuluj pytaniami, np.:
– „Jak bardzo chciałbyś korzystać z tego produktu?” – w tym pytaniu jest presupozycja, że badany w ogóle chce korzystać.
– Co Ci się podoba w tym produkcie? – czy nie pytamy po to, żeby usłyszeć, jaką świetną pracę wykonaliśmy? Nie dość, że z góry każemy skupić się uwagę badanego na plusach to nie drążymy dalej tematu. Jeśli mu się podoba, to warto dopytać, co dokładnie mu się podoba, jaki to rozwiązuje problem? A może nie rozwiązuje, tylko ładnie wygląda?

Teraz porada trudna do realizacji – bądź świadomy swojej komunikacji pozawerbalnej i staraj się przynajmniej minimalizować jej efekt. Początkujący badacze (szczególnie ci, którzy lubią postawić na swoim), mogą niejawnie sugerować odpowiedź, np. prezentując jedno rozwiązanie (wymyślone przez nielubianego kolegę) krzywiąc przy tym usta, a potem drugie rozwiązanie (wymyślone przez siebie) uśmiechając się przy tym. Takie zachowanie nie nagra się na dyktafon, a taki „badacz” zyska być może pozorne wyniki. Nie szukaj na siłę potwierdzenia własnych hipotez i nie sugeruj tego w żaden sposób.

Warto wystrzegać się własnych opinii, np. sformułowań typu: „Też tak myślę” albo „Dobrze, że pani to zauważyła!” Bądź otwarty na to, że możesz się mylić. Słuchaj, co do Ciebie się mówi. Zwracaj uwagę na sygnały pozawerbalne płynące od osoby badanej, ale nie przesadzaj z interpretacją (np. nie wierz w bajki NLP mówiące o tym, że kierunek, w jakim patrzy Twój rozmówca wskazuje, czy mówi prawdę, czy zmyśla).

Unikaj także żargonu w pytaniach i technicznej terminologii. Być może w Twojej firmie wszyscy tak mówią i się rozumieją, ale Twoi rozmówcy niekoniecznie będą wiedzieć, o co pytasz, a będzie im może głupio się dopytać.

Czy wprowadzenie w błąd jest dobre?

Zanim przejdę do tematu, jak prawidłowo formułować pytania, opowiem historię o ocenianiu komputerów. Przeprowadzono eksperyment, w którym podzielono badanych na dwie grupy. Badani uczyli się języka hiszpańskiego przy udziale komputera.

W pierwszej grupie, po zakończeniu lekcji, komputer prosił o ocenę jego pracy w skali od 0 (beznadziejnie) do 100 (rewelacyjnie). Był też komunikat, że im wyższa liczba, tym wyższa ocena pracy tego komputera. Badany musiał wpisać liczbę.

W drugie grupie komputer wyświetlał na końcu informację, że to jest koniec, dziękuje i prosi, aby przejść do innego komputera, który znajduje się w przeciwległym rogu laboratorium. Badany przechodził do tego komputera i widział komunikat, że tu zbierane są oceny pracy innych komputerów i należy ocenić komputer, na którym badany pracował w skali od 0 do 100.

Ocena jakości lekcji języka hiszpańskiego zależała od tego, czy pytał o to komputer, który brał udział w tej lekcji (ocena była wyraźnie wyższa), czy ten inny komputer, który był w oddaleniu (ocena była wyraźnie niższa).
„My nawet komputerowi nie potrafimy powiedzieć, że jest beznadziejny, tylko innemu komputerowi mówimy, że tamten jest beznadziejny.” – prof. Dariusz Doliński.

Jeszcze gorzej, gdy wpadniemy na pomysł, aby przeprowadzić wywiad grupowy, a nie mamy doświadczenia w moderowaniu grup. Wówczas dość łatwo może zajść zjawisko konformizmu społecznego, czyli ludzie bezrefleksyjnie będą brać przykład z innych ludzi. Nagle okaże się, że wszyscy mają takie a nie inne zdanie.

Bądź też przygotowany na pytania od osób badanych. Czasami sondują swoimi pytaniami, chcąc dowiedzieć się, jak się mają zachować (aby nie wyjść na głupka, żeby się przypodobać), albo jak dana rzecz działa? Odpowiedz pytaniem na pytanie, np. „A jak Ty myślisz?”, albo zapewnij badanego, że to nie on jest przedmiotem badania, tylko np. dany projekt i może mówić, co myśli.

Jest sposób, aby uniknąć braku szczerości ze strony badanych i niekoniecznie wiąże się to z wykrywaczem kłamstw. Pamiętajmy, że jeśli sądzimy, że nasza opinia nie jest przedstawiana bezpośrednio danej osobie odpowiedzialnej za projekt, to mamy większą swobodę wypowiedzi.

Jeśli więc przeprowadzamy badanie, to nie ujawniajmy, że jesteśmy autorami projektu czy pomysłu na rozwiązanie danego problemu. Udawajmy, że poproszono nas o przebadanie, a sami nie jesteśmy zorientowani w temacie.

W jaki sposób przygotować pytania na wywiad, by uniknąć pozornej weryfikacji?

Na początku zastanów się, co jest celem badania i jak ten cel przedstawisz osobom badanym (np. że jest to próba lepszego zrozumienia danego problemu albo w przypadku testu użyteczności, że będziesz wdzięczny za odkrycie pozytywnych aspektów produktu jak i negatywnych). Opracuj krótkie wprowadzenie obejmujące powitanie i podziękowanie za wzięcie udziału w badaniu, dodaj tzw. „small talk”. Opowiedz pokrótce o procedurze, ile czasu będzie trwała rozmowa (nie nazywaj tego badaniem). Zapewnij też badanego o anonimowości (w niektórych sytuacjach to jest kluczowe) i że każda odpowiedź jest dobra.

Osoba badana powinna czuć się komfortowo, więc zadbaj o to, jak tylko możesz. Poproś o szczerość, powiedz, że nie jesteś autorem danego badanego produktu. Staraj się być neutralny. Poinformuj, że w każdym momencie badanie można zakończyć bez ponoszenia konsekwencji. Sprawdź, czy wszystko jest jasne dla Twojego rozmówcy. Pamiętaj, aby nagrać rozmowę (oczywiście za zgodą). Kiedyś nie notowałem tego, co mówi badany, aż do momentu, gdy po jednym teście użyteczności okazało się, że nagrał się tylko obraz bez dźwięku. Lepiej więc notuj w trakcie badań, a po spotkaniu sporządź krótką notatkę. Nie polegaj w 100% na swojej pamięci i na sprzęcie rejestrującym.

Stwórz listę pytań i zadbaj, aby miała logiczną strukturę. Nie skacz z tematu na temat. Aby temu zapobiec, warto stworzyć coś w rodzaju mapy myśli (mind mapping). W centralnych punktach umieść pytania otwarte, które  pozwalają na swobodną wypowiedź, a z których następnie rozchodzą się pytania powiązane. Warto ograniczyć pytania zamknięte (na które odpowiedzią może być „Tak” lub „Nie”) do minimum, tylko czasem mogą okazać się konieczne.

Dzięki takiej mapie będzie Ci łatwo znaleźć właściwe pytania, zwłaszcza, gdy zależą od poprzednio udzielonych odpowiedzi. Ustal jakie informacje wydają się być najważniejsze, a które możesz pominąć? Praktyka czyni mistrza i o ile na początku być może dość sztywno będziesz prowadzić rozmowy zaglądając w kartkę, to później nabierzesz większej swobody.

Nie opieraj się na wyobraźni osoby badanej i nie każ jej myśleć w sposób hipotetyczny. Pytania takie jak: „Myślisz, że inni ludzie chcieliby skorzystać z takiego produktu?” nie są w rzeczywistości pomocne, bo nie można na nich bazować. Niewiele dowiesz się zadając pytania: „Jak łatwa jest nawigacja?”, bo kto powiedział, że jest łatwa? Dla Ciebie jest łatwa, bo ją zaprojektowałeś, albo zrobił to ktoś z Twojego zespołu. A co może powiedzieć badany: „No dość łatwa”, inny powie: „Spoko”, a jeszcze inny: „Może być”. Nie ma w tych odpowiedzi żadnej skali, do której możesz się odnieść. Każdy może co innego rozumieć przez takie sformułowania.

Możesz pytać o konkretne wydarzenia z przeszłości (choć Jakob Nielsen ostrzega, żeby nie pytać o to, jak ludzie zwykle się zachowują, bo mają tendencję do zbytniego idealizowania) albo jak teraz osoba rozwiązuje dany problem, np. „Pokaż, jak na tej stronie realizujesz przelew. Mów proszę na głos, o czym myślisz realizując każdy krok płatności.”, „W jaki sposób ostatnio kontaktowałeś się z Biurem Obsługi Klienta? Dlaczego wybrałeś ten sposób, a nie inny?”

Jeśli badany milczy, to nie przychodź mu od razu z pomocą. Poczekaj, może powie Ci o czymś, na co sam byś nigdy nie wpadł. Jeśli rozmówca mówi, to pozwól mu się wygadać i nie przerywaj.

Zrób koniecznie badanie pilotażowe. Sprawdzisz w praktyce czy Twoje pytania układają się w logiczną całość i czy na pewno otwierasz osoby badane na szczere wypowiedzi.

Właściwe pytania to takie, które wiążą się z podjęciem w pełni świadomej decyzji i wysiłku po stronie badanego. Jeśli badany jest w stanie poświęcić własny czas i wydać pieniądze, to prawdopodobnie stanowi Twoją grupę docelową. Użyj takich osób do zbudowania person, przeprowadź pogłębione wywiady, staraj się nawiązać kontakt. W przyszłości mogą to być Twoi klienci, którzy będą polecać Twój produkt znajomym.

Pamiętaj, że gdy osoba badana jest świadoma, że ma ponieść jakiś koszt, to wychodzi ze swojego bezrefleksyjnego stanu i zaczyna rzeczywiście się zastanawiać. Na początku dowiedz się, czy za rozwiązanie danego problemu osoba badana jest gotowa zapłacić pieniądze. A potem drąż temat, bo nawet jak znajdziesz osoby, które są gotowe zapłacić za rozwiązanie problemu (np. za to, że schudną i będą zdrowsi), to niekoniecznie zapłacą za Twój produkt (np. za aplikację desktopową, gdzie będą musieli wpisywać i liczyć każdą kalorię). Całkiem możliwe, że Twój rozmówca już teraz korzysta z narzędzia konkurencji i płaci za to rozwiązanie. Dopytaj wówczas, dlaczego płaci, które funkcjonalności są dla niego tak ważne.

Warto formułować tak pytania, aby badani zaczęli rozważać:

1. Czy to jest warte mojego czasu?
2. Czy jestem gotów za to płacić?
3. Czy będę chciał podzielić się tym ze swoimi znajomymi?

Więcej na ten temat poniżej, warto jednak siegnąć po wystąpienie Steve Cohna na ten temat. Gdy nadejdzie moment zakończenia rozmowy powiedz po prostu, że dziękujesz za rozmowę i zapytaj, czy osoba badana ma jakieś pytania.

Ad. 1 Czas

„Czas to pieniądz” – mówi przysłowie. Jesteśmy przyzwyczajeni, żeby wynagradzać osoby badane za czas nam poświęcony. Ale czy rzeczywiście ZAWSZE tak powinniśmy robić?

W przypadku testów użyteczności, które mają na celu znalezienie podstawowych błędów, wynagrodzenie ma sens. Natomiast jeśli zależy Ci na ocenie danego rozwiązania czy pomysłu, to staraj się nie płacić za takie badanie. Bo skoro ktoś nie chce poświęcić nawet 30 minut swojego czasu za darmo, to znaczy, że pewnie nie będzie chciał kupić produktu, bo to się wiąże z uszczupleniem jego konta bankowego.

Ad. 2 Pieniądze

„Czas to pieniądz, a pieniądz to więcej niż czas.” – Edgar Allan Poe
Jeśli musisz płacić badanym kwoty, które nie są symboliczne, to może znaczyć, że chcą zarobić i w ogóle nie interesuje ich Twój produkt. Nie są więc Twoją grupą docelową.

Dan Norris szczerze opisuje w książce pt.: „Startup w 7 dni” nieudane próby rozkręcenia biznesu. Uczula na to, że choć twórcy Dropboxa udało się z landing pagem i zbieraniem adresów email, to w wielu innych przypadkach nie było tak dobrze. Ludzie stosunkowo łatwo godzą się podawać adres email, gdy ich coś interesuje, ale to wcale nie znaczy, że chcą za coś zapłacić.

Inną ciekawą rzeczą jest opis, jak Dan Norris zadał pytanie: „Czy jesteś gotowy/gotowa zapłacić za taki produkt, gdybym go stworzył?”. Otrzymał wyniki mówiące, że 60% byłoby prawdopodobnie gotowych zapłacić, a ok. 20%, że na pewno by zapłaciło. A jaki był prawdziwy efekt? „Po uruchomieniu serwisu większość subskrybentów wersji beta nawet nie użyło produktu. Nikt za niego nie zapłacił.”

Autor jednak wspomina, że jego produkt był po prostu niedopracowany. Nie wspomina też o cenie, która ma znaczenie podczas decyzji zakupowych. Być może chciał za dużo w stosunku do tego, czego się spodziewali ankieterzy?

Dla osób związanych z badaniami te wnioski są bardzo cenne. Pokazują bowiem, że nie możemy ślepo wierzyć w wyniki ankiet. „Posłużyliśmy się metodą ilościową, obiektywną” – a w rzeczywistości takie wyniki mogą niewiele znaczyć. „Ludzie nie wiedzą, czego nie chcą, dopóki nie muszą sięgnąć do swojego portfela.” – Dan Norris.

Ad. 3 Poleć znajomym

Metoda NPS (ang. Net Promoter Score) wydaje się być dobrym przykładem prawidłowo zadanego pytania, ponieważ badany musi pomyśleć o konsekwencjach związanych z poleceniem produktu swoim znajomym: „Jak prawdopodobne jest to, że polecisz ten produkt swojemu znajomemu?”

Nie polecamy przecież zwykle produktów na FB, które są dla nas obojętne, tylko te, na których nam zależy z jakiegoś powodu.

Podsumowanie

Trzeba zadawać właściwe pytania we właściwy sposób właściwym ludziom 🙂 A to czego się dowiesz z rozmów z osobami badanymi będzie miało wpływ na Twój produkt.
Jeśli znajdziesz osoby, które powiedzą Ci trzy raz tak: poświęcą swój czas, będą gotowe kupić Twój produkt i chętnie polecą Twój produkt znajomym, to będziesz na dobrej drodze do sukcesu. Skup się na tych osobach, bo to twoja grupa docelowa i musisz o niej wiedzieć jak najwięcej.

Nie mów badanym, że jesteś autorem danego rozwiązania, projektu czy makiety. W ten sposób zmniejszysz szanse wystąpienia pułapki, że ktoś będzie dla ciebie miły, a nie szczery.

Chciałoby się powiedzieć – bądź jak Steve Blank, który odkrył: „There are no facts inside your building, so get outside.” Ale tak naprawdę odkrył to już blisko 100 lat temu Bronisław Malinowski. A więc bądź jak polski antropolog społeczny – wyjdź do swojej grupy docelowej bez bagażu opinii innych ludzi i przygotowanych teorii, obserwuj zachowania osób badanych i słuchaj, co mają do powiedzenia.

I nie ograniczaj się tylko do jednej metody badawczej.