Kiedy w 2011 r. Eric Ries wydawał swoją książkę „The Lean Startup” moja przygoda z Product Managementem dopiero się zaczynała. Dzisiaj z powodzeniem stosuję lean startup w budowaniu produktu, pokazując innym, że jest to metoda sprawdzająca się nie tylko w startupach, ale też w korporacjach. Jedną z metod badawczych w lean startup, umożliwiającą walidację pomysłów są A/B testy.

Jak mówi Wikipedia:

„Testy A/B – metoda badawcza polegająca na porównaniu dwóch wersji strony internetowej celem wybrania tej wersji, która lepiej spełnia stawiane przed nią zadania. W testach A/B porównuje się zwykle funkcjonującą wersję strony (podstrony) z wersjami alternatywnymi (poprzednią, nowszą itp.)”

Zgoda. A/B testy można jednak z powodzeniem zastosować nie tylko na stronach internetowych, ale także w innych obszarach produktu. Świetnie sprawdzają się, na przykład, podczas testowania szablonów e-maili.

A/B testy w praktyce

W produkcie, za który jestem odpowiedzialna (aplikacja mobilna TripCase) przez dłuższy czas większość wiadomości wysyłanych do klientów i zachęcających ich do zarejestrowania się w naszej aplikacji, nie przekładała się na wzrost liczby użytkowników. Pierwsza myśl Product Managera: należy całkowicie zmienić format i styl e-maila.

Słusznie, skąd jednak pewność, że zmiana szablonu zwiększy zaangażowanie odbiorcy? Pewne jest jedynie to, że będzie to kosztowna zmiana. Czy warto?

Postanowiliśmy więc przeprowadzić A/B testy na tychże e-mailach i zebrać dane od użytkowników.

Zmiana niewielkiej części e-maila może mieć ogromny wpływ na wyniki badań. Celem doświadczenia, które przeprowadziliśmy w moim zespole, nie była całkowita zmiana szablonu, a tylko jednego elementu: małego granatowego przycisku. Był on istotny, gdyż prowadził odbiorcę do rejestracji profilu w aplikacji. Postanowiliśmy zmienić  kolor przycisku z grantowego na zielony.

Testy przeprowadziliśmy wysyłając przez 4 tygodnie 50 % e-maili z przyciskiem granatowym i 50% z przyciskiem zielonym. Ku naszej wielkiej radości, po zakończeniu eksperymentu zauważyliśmy wzrost zarejestrowanych użytkowników spośród tych, otrzymujących e-maile z przyciskiem zielonym. Był to duży sukces tej serii testów, gdyż w ciągu zaledwie miesiąca zyskaliśmy ponad 130 tysięcy nowych profili w aplikacji.

Ponieważ zielony przycisk zwyciężył w badaniach, przeprowadziliśmy na nim jeszcze kilka serii A/B testów, zmieniając jego miejsce w szablonie, zmieniając jego nazwę, itd. Zawsze wysyłaliśmy wersje 50% na 50 %. Wyniki raz były zadowalające innym razem mniej.

Był to pierwszy krok do całkowitej zmiany szablonu e-maila, której dokonaliśmy w niedługim czasie po zakończeniu testów, co na dzień dzisiejszy skutkuje zwiększoną ilością użytkowników aplikacji.

Efekt końcowy

Na tym teście jednak nie poprzestaliśmy. Nadal prowadzimy A/B testy na innych szablonach, zmieniając m.in. tytuły wysyłanych wiadomości,  ich zawartość itp. Obecnie mail, o którym mowa w artykule, prezentuje się następująco:

Podsumowanie

Lean startup dostarcza również wielu innych metod do walidowania hipotez i pomysłów na produkt. Wszystkie one, a w tym właśnie A/B testy, dają możliwość sprawdzenia, czy nasz pomysł na zmiany jest tym czego oczekują klienci i czy warto w niego inwestować. Pozwalają też łatwo zmierzyć zachowania klienta, a wyniki tych pomiarów można prosto i szybko interpretować. Poza tym A/B testy, jako jedna z metod Lean startup, świetnie wpasowują się w zasadę: build-measure-learn.