Jak przeprowadzić „smoke testing”? Skuteczna ocena pomysłu na produkt – case study 

Jednym z największych wyzwań związanych z budowaniem nowego produktu jest stworzenie rozwiązania, za które klienci chętnie zapłacą. Realia biznesowe pokazują, że ponad dwie trzecie projektów IT kończy się klapą. Czy trzeba poświęcić miesiące swojego życia (a nawet lata) na zbudowanie produktu, tylko po to, by przekonać się, że nie odniósł komercyjnego sukcesu? Niekoniecznie. W dzisiejszych czasach, możemy wspierać nasze decyzje metodą Lean, aby skutecznie minimalizować ryzyko i zwiększać szanse na sukces.

W świecie growth marketingu takie testy określa się mianem smoke tests („testy dymne”, w języku polskim termin nie jest zbyt popularny). Testy pomagają odpowiedzieć na podstawowe pytanie „Czy ludzie rzeczywiście zapłacą za mój produkt?” Przeważnie polegają one na stworzeniu strony produktu, skupionej wokół silnego call-to-action – zaproszenia do zakupu lub rejestracji. Za kulisami produkt może być dopiero w powijakach lub może nawet nie istnieć. Aby przekonać się jak wiele osób będzie naprawdę zainteresowanych naszym rozwiązaniem, na stronę należy sprowadzić potencjalnych klientów oraz monitorować ich zachowanie.

Taki sposób działania pomaga skupić uwagę we wczesnym etapie oceny pomysłu na tym co jest naprawdę ważne, czyli na naszym modelu biznesowym. Model ten testuję jest pod kątem najczęściej popełnianego błędu – braku zapotrzebowania klientów na produkt lub usługę.

Chcesz zobaczyć jak wykorzystać smoke testy w praktyce? Zapraszam cię do mojego case study 🙂

1. Jaka była potrzeba biznesowa?
2. Lean – szczupły, ale i oszczędny
3. Co warto testować?
4. Jak testować skutecznie?
5. Strony produktowe
6. Ścieżka zakupowa klienta
7. Raportowanie i analiza danych
8. Uwzględnienie strategii firmy
9. Przekształcanie wiedzy w działanie
10. Podsumowanie

Jaka była potrzeba biznesowa?

W tym case study opisuje część większego projektu customer discovery który prowadziłem jako product manager firmie w Uniregistry, platformie umożliwiającej zakup domen internetowych oraz produktów towarzyszących. Z produktów firmy korzysta 30 000 klientów na całym świecie.

Analiza miała za zadanie pomóc dokonać nam lepszej segmentacji klientów. Co więcej, pojawiła się również nowa kategoria klientów i dlatego chcieliśmy przetestować nowe produkty dla nich. Projekt pomógł przyspieszyć wewnętrzną transformację organizacji. Poszczególne jednostki biznesowe zaczęły się bardziej specjalizować, powstała potrzeba odświeżenia buyer persony.

Poniższy harmonogram pokazuje w przybliżeniu proces którym się kierowaliśmy. W projekcie uczestniczyli członkowie różnych zespołów

Skupmy się na części projektu opisanej mianem Lean Product Validation, która miała za zadanie przetestować gotowość zakupową nowego oraz szybko rosnącego segmentu klientów. Po wcześniejszych warsztatach wewnętrznych wyłoniliśmy trzy pomysły produktowe, które wspierałyby ten segment klientów:

1. Prosty kreator stron (modyfikacja własnego produktu)
2. Zaawansowany kreator stron (integracja z partnerem)
3. Analityka wydajności stron (produkt nie istniał)

Wartym podkreślenia jest fakt, że każdy z pomysłów był na innym etapie rozwoju. Prosty kreator stron funkcjonował jak ficzer aplikacji mobilnej Uniregistry i był bardzo głęboko w niej ukryty. W terminologii Lean Startup taką zmianę w produkcie określa się mianem zoom-in pivot. Znanym przykładem takiego pivot’u jest YouTube, który wyewoluował z portalu randkowego.

Zaawansowany kreator stron to produkt innej firmy, który już funkcjonował oraz całkiem przyzwoicie się sprzedawał. Firma oferująca produkt działa w modelu revenue share oraz pozwoliła nam zaadoptować nieodpłatnie content z ich strony do naszych testów. Przyspieszyło to bardzo tworzenie landing page’a produktu. Na bazie wyników testów, mieliśmy omówić warunki ewentualnej współpracy.

Analityka wydajności strony to pomysł wyciągnięty z prezentacji inwestorskiej (pitch deck) zaprzyjaźnionej firmy z Belgii specjalizującej się w SEO, który był tak naprawdę pomysłem na bardzo wczesnym etapie. Dodaliśmy go do testów, aby pomóc znajomym sprawdzić ich pomysł oraz dostarczyć feedback od prawdziwych klientów. Dzięki testom pomysł mógłby zostać poddany częściowej weryfikacji rynkowej oraz ulec szybszej iteracji, co w rezultacie miało pomóc w rozmowach z inwestorami. W przyszłości, moglibyśmy wejść we współpracę, a niezależnie od rezultatu, firma z Belgii otrzymałaby wartościowe insighty, które pozwoliłyby jej ulepszyć inwestorski pitch deck. Win-win.

Bardzo ważne dla nas było stworzenie sytuacji, w której potencjalny klient nie będzie czuł wszystkich tych różnic oraz aby po zapoznaniu się ze stronami produktów odniósł wrażenie, że są one naprawdę dostępne w ofercie.

Lean – szczupły, ale i oszczędny

Wywiady z użytkownikami są cennym źródłem wiedzy i nie możemy ich pominąć budując nowy produkt. Natomiast to zachowanie użytkownika klikającego „Kup teraz” o wiele lepiej prognozuje intencję zakupową niż odpowiedź „Pewnie że kupię!”. Jest to obszar gdzie testy dymne wnoszą komplementarną wartość.

Eric Ries, przedsiębiorca i autor książki Lean Startup, mówi: „Ponura rzeczywistość polega na tym, że większość startupów upada”.

Dawno już minęły czasy „Zbuduj to, a przyjdą”. Nawet dla firmy z dziesiątkami tysięcy klientów, podjęcie decyzji o tym, który produkt wprowadzić do swojej oferty, to nie lada wyzwanie oraz inwestycja. W tym miejscu dobrze sprawdzają się właśnie smoke testy. Mogą one zapewnić solidną walidację produktu, zwiększając szansę zwrotu z inwestycji przy minimalnych zasobach poświęconych na testy.

Jeżeli czytasz ten tekst, o książce Erica zapewne już słyszałaś.

Pamiętam swoją reakcję po przeczytaniu książki – bardzo racjonalne podejście, niby nic niezwykłego, Ameryki przecież nie odkrył. Natomiast wykorzystanie zasad metodyki lean w „prawdziwym projekcie”, a szczególnie w większej organizacji może okazać się nie lada wyzwaniem. O ile „filozofia” bądź „podejście” lean jest dzisiaj dość znane, często aplikuje się je wybiórczo. Trudno doszukać się szczegółowo opisanych case studies na podstawie których można wzorować się i zbudować własne testy. Celem tego artykułu jest podzielenie się wiedzą, która mam nadzieję będzie dobrym benchmarkiem, przydatnym do przeprowadzenia podobnych projektów z uwzględnieniem specyfiki dojrzałej organizacji, która nie jest już startupem.

Co warto testować?

Po pierwsze ważne jest zdefiniowanie tego, co chcesz przetestować i jak określisz czy testy odniosły „sukces”. W większości przypadków najważniejszym pytaniem, na które należy odpowiedzieć, jest „czy ludzie rzeczywiście są gotowi zapłacić za mój produkt lub usługę?”, co z kolei przekłada się na „czy mam sensowny pomysł na produkt?”

Możesz to osiągnąć określając kryteria sukcesu, najlepiej przed rozpoczęciem projektu. Mogą to być kryteria twarde (zamknięte), na przykład: jeśli więcej niż X% odwiedzających stronę docelową w ciągu Y tygodni kliknie „Kup” lub „Dołącz do listy oczekujących”, możemy mieć pomysł na produkt, który warto zbudować. Alternatywnym podejściem jest przyjęcie kryteriów miękkich (eksploracyjnych), na przykład: czy nowy produkt ma szansę sprzedać się lepiej niż obecnie dostępny produkt Z? Na początku naszego projektu chcieliśmy przede wszystkim dowiedzieć się, które z trzech wytypowanych produktów będą cieszyć się największym zainteresowaniem. Mogliśmy to osiągnąć porównując te same metryki konwersji pomiędzy trzema produktami. Dodatkowo, chcieliśmy mieć możliwość porównania konwersji z produktami które już sprzedawaliśmy, np. pomiędzy stroną produktu a koszykiem zakupowym, lub pomiędzy pierwszym a ostatnim krokiem koszyka zakupowego. Na podstawie tych informacji mogliśmy określić czy nowe produkty będą miały większy potencjał sprzedażowy od produktów obecnie oferowanych.

Naturalnym jest, że kryteria sukcesu będą nieuchronnie ewoluować w miarę gromadzenia nowych informacji. Tak też było w naszym przypadku, z każdym tygodniem nasze początkowe hipotezy ewoluowały i stawały się coraz bardziej szczegółowe.

Jak testować… skutecznie?

Najlepiej na płacących klientach.

W naszej firmie był to bardzo delikatny temat i wymagający wcześniejszej edukacji zarządu. Kilku prezentacji oraz negocjacji z zespołem Customer Success popartej przeprowadzonymi wcześniej mniejszymi projektami prowadzonych zgodnie z filozofią lean. Największym wyzwaniem na wczesnym etapie projektu było przekonanie osób decyzyjnych, że klienci nie zaczną rzucać w nas kamieniami, kiedy dowiedzą się że produkt, który chcą kupić jest niedostępny. Sam etap przygotowywania firmy zajął około 6 miesięcy. Ciekawostką jest, że aby projekt wydawał się bardziej przystępny w odbiorze dla jej pracowników, nadano mu pseudonim oraz stworzono identyfikację wizualną.

Nazwa „Tinder” nawiązuje do popularnej mobilnej aplikacji randkowej, która umożliwia zawieranie nowych znajomości. Celem projektu było właśnie to – lepsze poznanie naszych klientów. Nadanie takiej nazwy, nieco z przymrużeniem oka, miało na celu wzbudzić zainteresowanie wewnątrz firmy, zachęcić do zadawania pytań przez kolegów i koleżanki z pracy w trakcie projektu, a przede wszystkim po jego zakończeniu.

Strony produktowe

Korzystanie z prostych kreatorów stron drag & drop, takich jak Landingi, umożliwia szybkie tworzenie profesjonalnych stron produktowych bez konieczności angażowania programistów. My nie skorzystaliśmy z takiego rozwiązania, gdyż analizie chcieliśmy poddać kompletną ścieżkę zakupową klienta, czyli nie tylko sprawdzić, czy będzie on zainteresowany zakupem produktu, ale jak daleko zajdzie kiedy wprowadzimy go do naszego procesu zakupowego. Porównując tak uzyskane lejki konwersji z tymi stworzonymi wcześniej dla istniejących już produktów mogliśmy dokonać lepszych estymat co do przyszłej sprzedaży.

Sporo pracy włożyliśmy w standaryzację stron produktów, content dla każdego z pomysłów został dostarczony w innym formacie, było sporo niespójności, musieliśmy wypełnić luki. Naszym celem było stworzenie sytuacji, w której to opis wartości produktu, a nie konstrukcja layoutu strony będzie miała wpływ na konwersję.

Landing pages zostały skonstruowane w taki sposób, aby umożliwić użytkownikom swobodne przechodzenie pomiędzy wszystkimi stronami testowanych rozwiązań. Zabieg ten okazał się strzałem w dziesiątkę, a zebrane dzięki temu dane, bezcenne dla późniejszej analizy wyników – o czym w dalszej części artykułu.

Ścieżka zakupowa klienta

Każdego miesiąca około 7 milionów użytkowników odwiedza strony Uniregistry. Prowadząc nasze testy chcieliśmy ograniczyć ich widoczność, aby nie musieć odpowiadać na pytania klientów związane z dostępnością produktów. Odrzuciliśmy na przykład pomysł umieszczenia stron produktowych w górnej części nawigacji lub przekierowania nowych użytkowników poprzez płatne kampanie marketingowe jak AdWords czy Facebook i Instagram. Co więcej, aby uzyskać dobre jakościowo informacje, testy zdecydowaliśmy się przeprowadzić na osobach w zakupowym procesie decyzyjnym. Założyliśmy, że dla tej grupy nowe produkty będą najbardziej interesujące oraz czas na podjęcie decyzji przez użytkowników w miarę szybki. Co miesiąc około 1 500 klientów dokonuje co najmniej jednej płatnej transakcji w serwisie. Po kilku rozmowach wewnętrznych udało się przekonać osoby decyzyjne, aby testy prowadzić na tej właśnie grupie – naszych klientach.

Postanowiliśmy przekierować część ruchu do naszych nowych stron produktu tuż po zakupie domeny internetowej. Jest to moment w którym łatwo przykuć uwagę klienta informacją o jego komplementarnych opcjach (cross-sell).

Pierwszą zmianą było wprowadzenie modyfikacji do ekranu z podsumowaniem transakcji wyświetlanym po zakupie. Wstawiono trzy nowe boksy z elemantami call-to-action, przekierowujacymi do stron poszczególnych produktów.

Na ekranie z podsumowaniem zakupu boksy były pokazywane w losowej kolejności. Miało to na celu poprawienie jakości zbieranych danych, założyliśmy, że umiejscowienie elementów na ekranie może mieć wpływ na to czy użytkownik kliknie. Tak zwana „randomizacja” miała temu zapobiec.

Aby skrócić czas realizacji projektu, testami postanowiliśmy objąć wyłącznie wersję webową platformy, czyli nie zmienialiśmy ścieżki zakupowej w naszych aplikacjach mobilnych (iOS, Android). Ta decyzja uprościła bardzo realizację projektu. Na jeden cykl pozyskania danych chcieliśmy poświęcić nie więcej niż 30 dni.

W kolejnym kroku śledziliśmy ile osób przeszło do strony produktu, ile osób postanowiło produkt włożyć do swojego koszyka zakupowego oraz kto był zainteresowany pozostałymi rozwiązaniami. Prześledźmy przykład użytkownika który wybrał zaawansowany kreator stron (Website Builder). Po kliknięciu w button „Get Started” zostałby on przekierowany na poniższą stronę produktu.

W przypadku zainteresowania danym produktem i po wyborze planu, użytkownik został przekierowany do zmodyfikowanej wersji naszego koszyka zakupowego. Był to szybki prototyp przygotowany przez programistę w kilka dni (łącznie z ustawieniem analityk) i wyłącznie na potrzeby testów.

Na tym ekranie mierzyliśmy nie tylko ile osób przejdzie dalej, ale również testowaliśmy jedną z hipotez pobocznych, mianowicie czy opcja planów rocznych ze zniżką będzie bardziej interesująca dla użytkowników niż plany miesięczne bez zniżki. Porównując lejki konwersji trzech produktów poddawanych testom w projekcie Tinder z innymi produktami dostępnymi w naszej ofercie, już na podstawie danych tylko z tego kroku, mogliśmy oszacować ile osób faktycznie zakupiłoby dany produkt, gdybyśmy go mieli.

Hot team powołany na potrzeby projektu (Product Manager, Product Designer, Full-stack Developer) przyjął twardsze kryterium kwalifikacji leada sprzedażowego. Zakup oznaczyliśmy dopiero w momencie przejścia użytkownika do kolejnego ekranu oraz wypełnienia prostego formularza.

W tym miejscu podaliśmy dość ogólne wyjaśnienie, dlaczego produkt jest niedostępny oraz prosiliśmy o pozostawienie danych kontaktowych. Jeżeli ktoś był naprawdę zainteresowany informacją o dostępności produktu zostawienie adresu email oraz imienia nie powinno stanowić problemu. Warto zwrócić uwagę, że na żadnym etapie nie informowaliśmy oraz nie prosiliśmy o podanie danych do przelewy/płatność kartą. Był to celowy zabieg, aby nie powodować pytań o to czy pieniądze za produkt którego nie ma, zostały pobrane z karty kredytowej.

Wyświetlenie tego ekranu było jednym z najtrudniejszych etapów negocjacji z zespołem Customer Success, który obawiał się zalewu pytań oraz skarg od niezadowolonych klientów. Na szczęście nic takiego nie miało miejsca, po miesiącu testów nie odnotowano żadnej skargi. Do wyświetlenia tego ekranu użyliśmy integracji z SurveyMonkey, gdyż ekrany chcieliśmy wdrożyć szybko i bezkosztowo. Wystarczyło jedynie dostosować look & feel ankiety aby wyglądała jak część koszyka zakupowego.

W ostatnim kroku ankiety wyświetliliśmy pytania pozwalające nam zrozumieć, które aspekty value proposition produktu są istotne dla klienta. Insighty zebrane z tego źródła miały być pomocne przy dalszym jego rozwoju, pracy nad strukturą cennika, etc. Wiedzieliśmy, że na tym kroku niewiele osób zostawi nam dodatkowe informacje, ale nawet kilka odpowiedzi wystarczyłoby, aby wykryć trendy w preferencjach.

Na ostatnim kroku podziękowaliśmy użytkownikowi i wyświetlliśmy informację, że może zamknąć okno przeglądarki.

Raportowanie i analiza danych

Największa wartość z testów tego rodzaju to twarde dane o konwersji, które pomagają podjąć decyzje o przyszłości produktów. Nawet jeśli pomysł okaże się „przegrany”, to i tak wygrywamy. Zamiast przeznaczać czas na rozwój pomysłu, który i tak by nie wypalił, poświęciliśmy ułamek tego czasu, aby się o tym przekonać. Na wczesnym etapie eksploracji każda informacja może być na wagę złota. Taki mindset badawczy przyjmujemy podczas całego procesu. Pisałem o tym już wcześniej w artykule Teoria Ugruntowana – ustalanie priorytetów funkcjonalności produktu – „all is data”.

Głównym narzędziem analitycznym wykorzystanym w naszych testach była Woopra. Pozyskaliśmy wartościowe informacje o ścieżce zakupowej klienta oraz trendach w zachowaniu poszczególnych segmentów. Mogliśmy zobaczyć jak daleko w lejku konwersji przechodzą, gdzie się zatrzymują, ile czasu poświęcają na poszczególne interakcje oraz w którym momencie postanawiają porzucić proces.

Już na pierwszy rzut oka widać, że tylko dwa produkty cieszyły się sporym zainteresowaniem:

• Prosty kreator stron (OnePage Lander), 47% wizyt wśród osób objętych testami
• Zaawansowany kreator (WBuilder Lander), 42% wizyt wśród osób objętych testami

Pomysł analityk wydajności stron (WDoctor Lander) nie wydawał się interesujący dla grupy naszych klientów.

Połowa użytkowników, która na kroku 2 wybierała Zaawansowany kreator stron, po zapoznaniu się z treścią strony produktu, przechodziła do strony produktu Prostego kreatora stron i spora część tych właśnie osób decydowała się na jego zakup. Ta informacja była bardzo cenna dla członków teamu Product Marketingu, który był żywo zainteresowany wynikami testów oraz tym który content lepiej konwertuje leady na płatne subskrypcje.

Spore zdziwienie wśród niektórych członków zespołu wywołał fakt, że niektóre osoby naprawdę chciały kupić produkty przed przetestowaniem ich w wersji trial. W trakcie testów zdarzały się zakupy planów rocznych za setki dolarów.

Na grafice powyżej widzimy ile osób zdecydowało się włożyć produkt do koszyka. Widzimy że w przypadku ponad 85% spośród wszystkich osób, które zdecydowały się na zakup (Krok 3) był to Prosty kreator stron (OnePage Lander). Krok 4 uznawany był za „twardą sprzedaż”, porównując z danymi konwersji dla posiadanych już produktów wiedzieliśmy że większość użytkowników która przekroczyła Krok 3 kupiłaby produkt.

Co z tego wszystkiego wynika?

Gdybyśmy zdecydowali się na Prosty kreator stron, wolumen sprzedaży byłby zdecydowanie większy, ale wartość koszyka zakupowego mniejsza.
Gdybyśmy zdecydowali się wdrożyć Zaawansowany kreator stron, mielibyśmy mniej klientów, za to płacących nam więcej za pojedynczy produkt.

Kolejne ciekawe spostrzeżenia napłynęły z analizy danych ankietowych. Stosując metodologię Tradeoff Feature Analysis, odkryliśmy które ficzery są cenniejsze dla użytkowników. Przykład dla Prostego kreatora stron zaprezentowano poniżej.

Tak skonstruowana ankieta (Krok 5) pozwoliła na skuteczną ocenę value proposition produktu. Nasz proces wyglądał następująco:

• Jakościowo zawęzić zakres możliwości value proposition
• Zebrać dane, aby zobaczyć dokładnie, które aspekty są ważne dla klientów
• Podzielić wyniki na segmenty i porównać

Dawno temu pracując jako UX Researcher odkryłem, że większość ankiet marketingowych jest nieprawidłowo skonstruowanych. Na przykład, wyobraź sobie, że poprosilibyśmy wszystkich, aby ocenili naszą listę value proposition w skali od 1 do 10. Wydaje się, że to dobry pomysł, ale tak naprawdę otrzymalibyśmy wyniki, które leżałyby tak blisko siebie na skali, że trudno byłoby określić która propozycja wartości jest znacząco lepsza od innych.

Więcej informacji o metodzie można poczytać w artykule z bloga PriceInteligently You’re Leaving Out the Customer: How to Quantify Your Value Propositions:

Musisz bezwzględnie zmusić respondentów do kompromisu między opcjami, pytając ich, które wybory najbardziej cenią, a które mają najmniejszą wartość. Jest to znane jako MaxDiff lub Conjoint Analysis.

Podsumowując etap analizy, dzięki wynikom konwersji zebranym przez Woopra oraz ankietę wiedzieliśmy, że dwa z trzech produktów mają szansę przyjąć się wśród naszych klientów. Pomimo tego że jeszcze one nie istniały, porównując lejki wiedzieliśmy że konwersja dla Prostego kreatora stron jest większa niż dla niektórych obecnie oferowanych produktów. Patrząc na wartość całkowitej sprzedaży, lepszym wyborem byłby dla nas Zaawansowany kreator stron.

Jaki produkt powinniśmy wprowadzić na podstawie zebranych informacji?

Uwzględnienie strategii firmy

Podjęcie dobrej decyzji w biznesie wymaga zazwyczaj ciężkiej pracy.

Zadaniem product managera jest podejmowanie decyzji tak, aby zwiększać szansę na wygraną firmy – co, jak i kiedy powinno zostać wypuszczone na rynek, aby uzyskać możliwie najlepszy rezultat. W naszym projekcie przy ocenie rezultatów projektu bardzo pomocne było uwzględnienie strategii firmy. Jasna strategia organizacji zawęża pole działania w obszarze rozwoju produktu, pomaga w ocenie priorytetów oraz przyspiesza decyzje.

W początkowej części projektu wspomniano o „szybko rosnącym segmencie klientów”. Otóż, historycznie, nasza firma wyrosła oferując swoje produkty dużym firmom oraz inwestorom domenowym, potrzebujących zaawansowanych narzędzi do zarządzania setkami (a niekiedy setkami tysięcy) domen internetowych. Od pewnego czasu zaobserwowaliśmy wyraźny trend, gdzie naszym klientem stawali się coraz częściej użytkownicy pojedynczej domeny: freelancerzy, małe oraz średnie firmy. Rok 2019 okazał się dobrym momentem aby przedyskutować dalszy kierunek rozwoju firmy oraz w szczególności naszej jednostki biznesowej. Projekt Tinder był pomocny i skierował naszą uwagę na to co mogliśmy zmienić w sposobie prowadzenia biznesu, choć pole działania na podstawie zebranych informacji wydawało się cały czas bardzo szerokie.

Jak pisze Maciek Michalski w swoim artykule o innowacjach produktowych:

Potrzeby klientów są jak narkotyk. Ich liczba i jakość decyduje o sukcesie naszej firmy. To dzięki nim, w pierwszej kolejności, udało nam się pobić konkurencję. Co to oznacza dla firmy? Firma ma produkt. Klienci go znają i rozumieją. Ich sukces i satysfakcja, są w mniejszym lub większym stopniu zależne od tego produktu. To znaczy, że wymagania naszych klientów sprowadzają się w gruncie rzeczy do jednego ­ nieustannie ulepszaj swój produkt, bo musimy pozostać konkurencyjni. Ich sukces przekłada się na nasz sukces. Koło się zamyka. Jest to, tak zwana, przyrostowa innowacja (ang. sustaining, incremental innovation). […]

Jedynie firmy, które są zdolne powiedzieć „nie” swoim klientom mają szansę przetrwać. Otwarcie okna na radykalną innowację jest jak odwyk.

Decyzja o skupieniu się na potrzebach nowych klientów była dla nas taką właśnie kuracją odwykową. Nie dla wszystkich również była łatwą przeprawą. W zrozumieniu czekających nas wyzwań oraz tego jak przeprowadzenie takiej transformacji wewnątrz firmy może wyglądać, jakie są granice pomiędzy przyrostową a radykalną innowacją, przydatna jest lektura książki „The Innovator’s Dilemma” autorstwa Claytona M. Christensena.

Po projekcie przeprowadziliśmy wewnętrzne warsztaty z kluczowymi interesariuszami (COO, Head of Customer Success, Head of Design, Product Marketing, etc). Stworzenie matrycy porównawczej dla mocnych oraz słabych stron dla każdej z podgrup nowych segmentów ułatwiło dyskusję oraz pomogło wyostrzyć granice dla preferowanej persony klienta. Rozważyliśmy dwie możliwości: firmy zatrudniające 1-5 osób lub firmy zatrudniające powyżej 5 osób. Różnica ta, choć na pozór niewielka, miała znaczące implikacje dla sposobu dalszego zarządzania naszą firmą. Zarówno pod kątem rozwoju produktów, pozycjonowania strategicznego oraz działań marketingowych.

Pod uwagę wzięliśmy takie kryteria jak rozmiar rynku, bariery wejścia, rentowność, otoczenie konkurencyjne, koszty pozyskania klienta, product stickiness, oraz różnorodne wewnętrzne cechy naszej organizacji. Potrzebowaliśmy być zgodni w którą stronę idziemy oraz upewnić się, że wszyscy rozumieją argumenty stojące za podjętą decyzją (co nie jest równoznaczne ze „zgadzają się” z nimi). Po warsztatach podjęliśmy decyzję aby skupić się na segmencie firm zatrudniających 1-5 osób.

Wartość pojedynczego koszyka zakupowego „klienta 1-5” będzie znacznie mniejsza, natomiast wolumen sprzedaży oraz gotowość zakupu komplementarnych produktów większa. Tego dowiedzieliśmy się dzięki projektowi Tinder. Segment ten będzie najbardziej zainteresowany Prostym kreatorem stron. Dla kontrastu, „segment +5” skorzysta najbardziej na Zaawansowanym kreatorze stron, i choć wartość sprzedaży pojedynczej usługi będzie większa, wolumen klientów którzy kupią produkt będzie również mniejszy. Zwiększenie liczby klientów niezależnie od wartości ich koszyka zakupowego uznaliśmy za istotniejsze kryterium. W podjęciu tej decyzji istotne były inne argumenty o naturze strategicznej, których wyjaśnienie w dużej mierze pominąłem.

Przekształcanie wiedzy w działanie

80% projektów badawczych nie wnosi dużej wartości do biznesu. Co więcej, znaczna ich część kończy swój żywot się na etapie raportu lub prezentacji. Największą wartość z działań badawczych (np. customer discovery) popartych solidną rekomendacją, mają projekty zakończone wdrożeniem. Ten cel udało się nam osiągnąć. Po zakończeniu procesu oraz kilku dodatkowych spotkaniach, firma postanowiła zainwestować w rozwój produktu który został wyłoniony jako najbardziej obiecujący – Prosty kreator stron. W momencie pisania tego tekstu trwają prace nad wdrożeniem kreatora. Nad wdrożeniem produktu pracuje powiększający się zespół programistów, product designerów, omawiane są przyszłe działania marketingowe.

Podsumowanie

Nawet jeśli wyniki testów będą pozytywne, wprowadzenie Twojego produktu na rynek nie gwarantuje sukcesu. Proces walidacji to dopiero początek. Ale jeśli przeszedłeś proces w całości i ukończyłeś wszystkie etapy, będziesz w znacznie lepszej sytuacji.

Smoke testy pozwalają zaoszczędzić pieniądze firmy oraz czas Twojego zespołu. Pomagają opóźnić kosztowne i czasochłonne kodowanie tak bardzo, jak to możliwe. Cały proces można skondensować do pięciu kroków:

1. Ustal jaki będzie wyznacznik sukcesu dla testowanego pomysłu
2. Zaplanuj jak możesz to sprawdzić najmniejszym kosztem
3. Przekieruj właściwy traffic do eksperymentu
4. Zmierz konwersję
5. Podejmij decyzję o dalszych krokach (sukces/porażka, kolejna iteracja)

Uważam, że product manager powinien być w stanie szybko zweryfikować swoje pomysły, a smoke testy są jednym z narzędzi, które mogą osiągnąć ten cel. Mam nadzieję, że opisane case study pomoże Ci w przeprowadzeniu skutecznych testów, ułatwi podjęcie decyzji oraz zwiększy szansę na sukces Twojego produktu – powodzenia!

PS. Opisany proces, choć krótki, składał się z wielu powiązanych ze sobą elementów, nie wszystkie zostały w tekście opisane. Jeżeli pracujesz nad podobnych projektem (lub rozważasz) oraz masz dodatkowe pytania np. związane ze strategią negocjacji wewnętrznych z kluczowymi interesariuszami, w jaki sposób pracowaliśmy z ceną produktów, taktyk przydatnych w zarządzaniu projektem – odezwij się do mnie na LinkedIn.