Product Discovery w akcji, czyli jak zaprojektować eksperyment produktowy?

Każdy z nas chce tworzyć i rozwijać wartościowe produkty. Takie, które ludzie będą chcieli używać i za które zdecydują się płacić (najlepiej regularnie!). Dodatkowo będą robiły dla nich robotę, do której zostały stworzone na tyle dobrze, że użytkownicy nie będą nawet myśleć o rozglądaniu się za alternatywami. To właśnie takie produkty dają nam szansę na stworzenie dochodowego, skalowalnego biznesu, którego zespół zawsze trzyma “rękę na pulsie”. Brzmi dobrze, prawda?

W praktyce realizowanie optymalnej ścieżki rozwoju produktu jest jednym z trudniejszych zadań, z którymi mierzymy się w codziennej rzeczywistości. Gdzieś pomiędzy danymi, a feedbackiem od klientów, wewnętrznymi pomysłami a rynkowymi trendami, podejmujemy decyzję dotyczącą tego, jaka jest następna najbardziej wartościowa rzecz, którą powinniśmy budować.

Zwykle opcji i pomysłów w kolejce mamy sporo (tym bardziej, jeśli w jakimś stopniu uruchomiliśmy proces Product Discovery w naszej firmie). Kierując się misją i wizją firmy, celami strategicznymi, czy po prostu szansami, które dostrzegamy wybieramy kilka potencjalnie ciekawych dróg rozwoju. I w tym miejscu na scenę wchodzi nasz cichy bohater – eksperyment produktowy, który może dostarczyć nam wartościowych danych niezbędnych do podjęcia decyzji, od której zależy dalsza praca i cenny czas naszego zespołu.

W tym miejscu ktoś mógłby powiedzieć: “…no dobra zróbmy ankietę i sprawdźmy czy klienci tego chcą …” lub: “…przecież rozmawiałem z kilkoma osobami i mówią, że to świetny pomysł…”

Ale czy badania pomogą nam w możliwie wiarygodny sposób sprawdzić:

Czy zdefiniowania przez nas szansa na rozwój/pomysł produktowy rzeczywiście jest wartościowa dla naszych klientów?

Czy ją rozumieją, czy jest dla nich atrakcyjna?

Jak duża jest grupa, która rzeczywiście wykazała zainteresowanie?

Czy i ile będą skłonni za nią zapłacić lub jak bardzo chcieliby tego używać?

Z tym może być ciężko. Opieranie decyzji tylko na badaniach często prowadzi do dużego zawodu kilka dni po uruchomieniu kampanii nowego rozwiązania. Dlaczego tak się dzieje? Ponieważ:

“Ludzie są słabi w przewidywaniu tego, czego by chcieli lub co by kupili za to świetni w reagowaniu na rzeczy, które istnieją. I tu do gry wchodzą eksperymenty, które dostarczają nam wiarygodnych danych weryfikujących czy nasze pomysły są warte wdrożenia. “

Co więcej dzięki eksperymentom sprawdzisz, jak ludzie reagują na zaprojektowaną propozycję wartości w konkretnym kontekście. Moim zdaniem są jednym z bardziej ekscytujących (wow, zamieniamy się naukowców)!, a tym samym precyzyjnym (w alternatywie do czasochłonnego wytworzenia danego “ficzeru”, produktu czy usługi w celu weryfikacji czy klienci rzeczywiście tego chcą) sposobem przetestowania “w boju” naszego pomysłu.

W Twojej głowie kiełkuje już pomysł na to aby przeprowadzić eksperyment produktowy? Zobacz, na co warto zwrócić uwagę aby Twoja nauka była wartościowa.

Określ cel eksperymentu

Na samym początku określ co jest celem Twojego eksperymentu. Może to być m.in. weryfikacja pomysłu, postawionej hipotezy optymalizacji lub szansy biznesowej. Postaraj się aby cel eksperymentu zawierał w sobie metrykę, która chcesz zbadać. Czy któryś z 3 nowych produktów może wykazywać potencjał biznesowy i konwersję podobną do naszego aktualnego rozwiązania? Czy nowy ficzer zainteresuje znaczną część naszych użytkowników? (np. pond 30%). Czy asystent zakupowy znacznie zmniejszy współczynnik odrzuceń w katalogu produktów (np. o 25%). Używaj dany w kontekście tego co już wiesz i co twoim zdaniem można określić jako sukces. Takie podejście zbuduje także jeszcze lepsze zrozumienie i skupi cały zespół wokół celu związanego z danym eksperymentem.

Eksperyment produktowy możesz z powodzeniem wykorzystać przy rozwoju zupełnie nowego biznesu i związanego z nim produktu/usługi. Zwykle przechodzimy wówczas przez iteracyjny proces kolejnych etapów badań i eksperymentów w którym na każdym etapie mamy inny cel w postaci hipotezy, którą chcemy zweryfikować.

Pamiętaj, aby weryfikację zaczynać od najbardziej ryzykownych założeń Twojego pomysłu. Możemy wydzielić następujące fazy weryfikacji nowego pomysłu na produkt:

Weryfikacja problemu

Czy produkt, który chcę stworzyć rzeczywiście odpowiada na ważne problemy mojej grupy docelowej? Np. czy mieszkańcy kilku sporych wysp oddalonych kilkaset metrów od miasta na lądzie mają problem z tym, że nie mogą zamawiać pizzy do swoich domów.

Weryfikacja rzeczywistego potencjału rynku

Ile osób rzeczywiście wyraża ten problem, czy jest to garstka ludzi czy może niemal wszyscy mieszkańcy wysp?

Weryfikacja rozwiązania

Czy nasz produkt/usługa rozwiązuje problem w sposób, który jest zrozumiały i atrakcyjny? Czy dostawa dronem pizzy w ciągu godziny jest dobrym rozwiązaniem? A może postawienie na automaty z dobrej jakości mrożonymi produktami, podobnymi do tych, które możemy normalnie zamówić jest równie ciekawe i wygodne? To jest też dobry moment aby zweryfikować propozycję wartości po drugiej stronie – lokalnych dostawców jedzenia do domu oraz firm cateringowych?

Weryfikacja gotowości zakupowej

Czy i ile nasi potencjalni klienci będa skłonni zapłacić za proponowane przez nas rozwiązanie. Czy 50 zł za dostawę pizzy dronem jest do przyjęcia? A może 5 zł za skorzystanie z automatu z mrożonym jedzeniem? A może abonament miesięczny no ibe usługi zachęci ludzi do korzystania z obu opcji?

Warto łączyć weryfikację np. dwóch elementów naszej “biznesowej układanki”. Dla przykładu możemy połączyć weryfikację zainteresowania danym rozwiązaniem z jednoczesnym zbadaniem gotowości zakupowej (np. w ogóle dostawa pizzy na wyspę, lub z elementem cenowych np. w kwocie 50 zł). Z drugiej strony pamiętajmy jednak, że szczególnie na początku, przy tworzeniu nowego produktu mamy więcej niewiadomych i łączenie wielu celów w jednym eksperymencie może utrudnić nam poprawne wnioskowanie, a więc maksymalna naukę. Na przykładu możemy mieć trudności w zrozumieniu jakie elementy mogły odpowiadać za niepowodzenie. Zła grupa docelowa, zła propozycja wartości, zła komunikacja propozycji wartości, a może za wysoka cena?

Sformułuj odpowiednią hipotezę

Dobry eksperyment bazuje na dobrej hipotezie. W tym miejscu warto upewnić się, czy zespół sformułował taką hipotezę, czy jest zrozumiała i wartościowa dla wszystkich. Tu z pomocą przychodzi nam inspiracja w postaci kanwy formulacji hipotezy od autorów książki Lean UX (Jeff Gothelf, Josh Seiden). W najprostszej postaci wygląda to następująco (pod koniec artykułu wrócimy do tego zagadnienia):

Wybierz odpowiednią technikę

Znając cel możemy dobrać odpowiednią technikę do realizacji naszego eksperymentu. Pamiętajmy, że eksperymentowanie wcale nie musi a nawet nie powinno być trudne. Ważne, aby dawało nam możliwość zmierzenia realnego zachowania potencjalnych klientów. Wyzwaniem zwykle jest pomysł co do formy przeprowadzenia eksperymentu. Tu do gry wchodzą wszelkie metody MVP takie jak wspomniane wcześniej smoke tests (świetny case study znajdziecie tutaj), ale także inne, takie jak mashup, wizard of Oz, concierge. A często nawet znacznie prostsze jak kampania reklamowa czy kampania crowdsourcingowa planowanego rozwiązania. Więcej przykładów MVP znajdziecie w artykule Grześka.

Wykorzystanie każdej techniki eksperymentu niesie za sobą zarówno korzyści (im prostszy do wykonania tym szybciej zamkniemy cykl buduj-mierz-ucz się), jak i ryzyka związane z czasochłonnością, wiedzą i zasobami niezbędnymi do jego realizacji. Możemy także mierzyć się z “nami samymi” i naszymi błędami poznawczymi przez, które tak mocno dążymy do potwierdzenia naszej hipotezy, że nieświadomie zaburzamy eksperyment uzyskując fałszywie potwierdzający wynik (false positive result). Stąd z kolei prosta droga do błędnych wniosków i decyzji.

Warto poznać wszystkie techniki, aby następnie dobrać te które spełnią twoje oczekiwania i pomogą zweryfikować nasze hipotezy.

Sprawdź kilka rzeczy przed uruchomieniem

 Eksperyment to zwykle dosyć “szybka akcja” – całość trwa zwykle od kilku dni do kilku tygodni. Zawsze jednak inwestujemy jakiś pokład energii i uwagę zespołu dlatego warto sprawdzić “minimum programowe”, aby mieć pewność, że nic nie zakłóci poprawnego przebiegu eksperymentu. Pamiętaj aby:

• przeprowadzić szybki test wewnętrzny (w poszukiwaniu legendarnych fuck up’ów)
• sprawdzić czy na pewno odpowiednio mierzysz wskaźnik od którego zależy interpretacja wyniku eksperymentu
• rozpocząć powoli wpuszczając ruch bo bardzo często trafia się błąd na froncie, w analityce etc., którego nie udało nam się wyłapać

Gotowi? Eksperyment czas zacząć!

Zbieraj dane i ucz się

 Pamiętaj, że w eksperymencie chodzi przede wszystkim o szybką naukę. Nie zawsze i nie na każdym etapie Ty i zespół będziecie mogli zadbać o “istotność statystyczną” ale zadbajcie o to aby zebrane dane były dla was możliwie miarodajne. Zadbajcie o odpowiednią próbę szczególnie przy eksperymentach dotyczących zachowań zakupowych.

Pamiętaj o pułapkach!

Podejmowanie decyzji w oparciu o dane z eksperymentów jest naprawdę ekscytujące. Dostajemy “wiatr w żagle” ponieważ mamy “dowody” na to, że nowe wdrożenie, produkt ficzer jest naprawdę potrzebny i da nam wartość biznesową. Istnieje jednak kilka pułapek w którą wpadają czasem nawe najwytrawniejsi naukowcy.

Czy wiesz na kim chcesz sprawdzić swój pomysł, a więc komu zaserwujesz swój eksperyment?

Wiele błędnych wniosków bierze się z tego, że reklamę pokazywaliśmy złej grupie osób lub złemu segmentowi klientów – może być też tak, że eksperyment trzeba będzie powtórzyć na nowej grupie ponieważ pierwotne założenia co do “targetu” się nie sprawdziły

Trudna decyzja? Jeden eksperyment to za mało…

Aby podjąć “dużą” decyzję jeden eksperyment to zwykle za mało – zbieraj dane z różnych touchpointów – dzięki temu zarówno Ty jak i zespół będziecie bardziej przekonani do danego pomysłu i co ważniejsze będziecie mieli więcej argumentów do rozmowy z decydentami czy inwestorami. Potraktujcie to jak dobre śledztwo w którym zbierajcie dowody na pomysły podejrzane o  “posiadanej wysokiej wartości biznesowej”. Z drugiej stron “czyśćcie z zarzutów” te pomysły, które mają alibi w formie “zupełnego brak zainteresowania klientów”!

Szybka nauka i “praktyczne” dane

Nie bój się mylić – mało kto wie że większość eksperymentów jest niekonkluzywna lub zakończona porażką ale to na czym powinniśmy się skupiać to nauka i wyciąganie wniosków aby dokonać odpowiednich zmian w założeniach lub podjąć decyzje o odłożeniu danego pomysłu do gabloty z podpisem klienci (na razie) tego nie chcą. Myśle, że wiedza o tym czego klienci nie chcą jest równie ważna co wiedza o tym czego klienci chcą/oczekują.

Skrajna niepewność? Jest rozwiązanie – eksperymentuj!

Wiem, jak trudna jest praca nad ciągłym odkrywaniem i rozwojem “najlepszej wersji naszego produktu”. Jak dużo pracy i czasu kosztuje to nasz zespół. Jeśli więc zadbasz o przejrzysty proces Product Discovery dla swojego produktu:

• zdemokratyzujesz wspólne budowanie i zrozumienie “skąd się to bierze” w całym zespole
• wykorzystasz i scalisz wszelkie źródła dane o produkcie i zachowaniu klientów (feedback z Customer Service, wyniki ankiet, dane analityczne/zakupowe, pomysły każdego członka zespołu, wynikające z jego unikalnego doświadczenia)
• pokażesz właścicielom i interesariuszom, że Twoje pomysły i argumenty za nim stojące nie są “wyssane z palca”
• co więcej, nauczysz tego samego podejścia do weryfikacji swoich pomysłów i założeń  “górę” nie tracąc czasu na budowaniu czegoś, co w poczuciu zespołu może nie być najlepszym pomysłem (tak, zdarza się to wciąż w wielu firmach!)

Odkrywanie potrzeb i szans tak jak rozwijanie produktu nie ma końca. I tak samo jak development samego produktu zasługuje na własny, oparty o szybką naukę, zwinny proces.Dlaczego? W tym miejscu oddam głos Romanowi Pichlerowi:

If you can’t confidently state why people are going to use your product, who those individuals are, what makes your product stand out from the crowd, and why it’s worthwhile for your business to develop and provide the product, then you are not in a position to build the actual solution. Instead, continue the discovery work (persevere or pivot), or stop and move on to another product idea.

🎁 Jeśli zainteresował Cię temat to zapraszamy na 5-dniowy DARMOWY KURS Product Discovery Academy FREE w ramach Product Academy, który pomoże Ci opanować podstawy product discovery. Codziennie czeka na Ciebie rozbudowana lekcja wideo 🎦 i materiały dodatkowe 📕. Kto zna nasze lekcje, ten wie, że warto ;).

Czas odkrywać! A czy Wy znaleźliście już pomysły podejrzane o posiadanie potencjalnej wartości?!