Jak nadawać priorytety testom A/B? Arkusz do pobrania

Większość testów AB kończy się brakiem wzrostu konwersji. Tak wynika między innymi z badań eMarketer.com i danych, którymi dzielą się specjaliści, jak na przykład Stuart Frisby z Booking.com, czy Michael Taylor z Funnel.io.

To truizm, ale podnoszenie konwersji jest po prostu trudne. Im wydajniejsza jest strona internetowa, tym trudniej ją poprawić – i dlatego w przykładowym Booking.com tak bardzo trzeba się napocić, żeby chociaż 10% testów A/B dawało pozytywny rezultat.

Ale co w przypadku, gdy strona kiepsko konwertuje, a wyniki testów A/B nadal rozczarowują? Często problem leży w braku uporządkowanego procesu. W wielu firmach zespoły wdrażają rozwiązania podpatrzone u konkurencji lub niepoparte danymi.

Testowane są więc zwykle pomysły osoby, która najgłośniej krzyczy lub ma najwięcej władzy w organizacji. Szef wymyślił, że przycisk ma być niebieski? No cóż, jeśli tak powiedział, to testujemy. Nawet jeśli to totalnie bez sensu.

Chociaż takie podejście czasem potrafi przynieść rezultaty, to jest w dużej mierze loterią. Można rozwijać serwis lub aplikację skuteczniej – na przykład uzasadniając wybór elementów do testu danymi.

Dlaczego warto ustalać priorytety testów A/B w oparciu o dane?

Wdrażanie w życie losowych pomysłów na usprawnienia UX i konwersji nie jest optymalnym biznesowo podejściem. Jako ludzie jesteśmy fatalni w przewidywaniu wyników. Zwłaszcza, gdy nasze przepowiednie poparte są niczym więcej, jak przeczuciem.

O ile to możliwe, warto więc korzystać z testów A/B, prowadzonych według powtarzalnego procesu, opartego o dane. Kluczowym argumentem przemawiającym za takim podejściem jest wyższa szansa na uzyskanie wzrostu konwersji.

Nie bez przyczyny giganci rynku technologicznego testują na potęgę i wyznają kult cyferek. Nie boją się zmieniać swoich planów i nie trzymają się za wszelką cenę roadmapy nakreślonej na wiele miesięcy czy lat do przodu.

Istotną rolę w procesie odgrywa model decydowania o tym, które hipotezy zostaną przetestowane i w jakiej kolejności.

Jak nadawać priorytety testom A/B?

Kluczowym, ale często pomijanym etapem w testach A/B, jest początkowa analiza danych i badania z użytkownikami. To one powinny być źródłem hipotez i inspiracji dla nowych rozwiązań.

Można w tym celu wykorzystać:

1. Dane o ruchu z Google Analytics, Mixpanel, Heap czy innego narzędzia
2. Heatmapy i mapy kliknięć
3. Nagrania sesji
4. Badania użyteczności
5. Ankiety
6. Analiza heurystyczna
7. Analiza konkurencji
8. Wywiady z działem customer service
9. Informacje od sprzedawców
10. Rozmowy z klientami

Wnioski z takich analiz to kopalnia pomysłów na testy A/B. Rekomendacje płynące z badań trzeba jednak ułożyć w spójny plan rozwoju strony lub aplikacji. Prostym i skutecznym rozwiązaniem jest arkusz z listą hipotez oraz danymi na ich temat.

Arkusz możesz znaleźć tutaj. Skopiuj plik na swój Dysk Google (nie proś o dostęp).

Takie podsumowanie pozwala nabrać perspektywy i sprawdzić, które pomysły mogą faktycznie poprawić istotne dla firmy KPI.

Jak korzystać z takiego arkusza?

#1: Ustal metrykę i oczekiwaną zmianę

Pierwszym krokiem jest decyzja o tym, na jaką metrykę ma wpłynąć test A/B i jaki jest jej przewidywany wzrost (lub spadek). W tym miejscu warto się skupić na mikrokonwersjach, związanych konkretnie z testowanym elementem na stronie. Najczęściej będzie to kliknięcie lub przejście do kolejnego kroku w lejku konwersji.

#2: Określ zasięg testu

Sprawdź w Google Analytics (lub podobnym narzędziu) ile odsłon generuje podstrona lub element, który chcesz przetestować. Zmiana przycisku, który widzi 70% użytkowników, będzie mieć większy wpływ na konwersję, niż zmiana tekstu, do którego dociera tylko 10% odwiedzających.

Zasięg jest ważny, bo pomaga określić priorytet. Im większa wartość tej metryki, tym ważniejszy jest dany ekran, element czy funkcjonalność. Nie bez znaczenia jest też miejsce na ścieżce użytkownika. Przykładowo ekran z formularzem rejestracyjnym może mieć mało odsłon, ale podniesienie konwersji na tej stronie o 10% da znaczący efekt biznesowy.

#3: Podaj liczbę analiz wskazujących na problem

Najczęściej im więcej badań i analiz potwierdza konkretną hipotezę, tym wyższa szansa na test AB z pozytywnym wynikiem. W arkuszu podałem zakres 1-5, ale to wartość przykładowa i należy ją dopasować do indywidualnej sytuacji.

#4: Oszacuj koszt wdrożenia

Idealne testy to takie, gdzie koszt wdrożenia jest niski, a potencjalny wzrost wysoki. Dlatego istotne jest szacowanie czasochłonności jeszcze przed decyzją o testowaniu konkretnej hipotezy. Takie podejście pozwala zawczasu ocenić, które testy się opłacają.

Jak szacować wzrost metryk?

Dochodzimy do sedna. Jak poprawnie określić, o ile dana hipoteza może podnieść konwersję? Tutaj magii nie ma, trzeba zgadywać. Im więcej mamy doświadczenia w testach A/B i historycznych danych o przeprowadzonych eksperymentach, tym łatwiej wywróżyć z fusów. Ale co w momencie, gdy dopiero zaczynasz proces testowania?

Co do zasady bezpiecznie jest oszacować zmianę na poziomie 10-20%. Możesz oczywiście trafić na niedoszacowany problem z UX i uzyskać wzrost o 50% czy 100%, ale to rzadkość. Lepiej się miło zaskoczyć, niż być permanentnie rozczarowanym wynikami.

Druga sprawa to przełożenie wzrostu mikrokonwersji na makrokonwersje, czyli najczęściej sprzedaż. Uważam, że każdy test powinien mieć na celu poprawienie sytuacji finansowej firmy (zwiększenie przychodu lub ograniczenie kosztów). Nie zakładaj jednak przełożenia wzrostu CTR przycisku na wzrost makrokonwersji w stosunku 1:1.

Przykładowo jeśli przekierujesz dodatkowe 20% osób ze strony głównej na formularz zapisu na darmowy trial produktu, nie oznacza to, że liczba kont testowych też wzrośnie o 20%. Może się tak zdarzyć, jednak bardziej prawdopodobny jest wzrost o 5-10%, a może nawet… brak wzrostu!

Logicznym jest, że średnia motywacja użytkownika do zapisu spadnie, jeśli łatwiej będzie dotrzeć na stronę formularza. Ci, którzy zapisywali się wcześniej, musieli przecież odszukać link w gąszczu innych informacji, więc wykazali się większą determinacją.

A kolejny etap to konwersja osoby z triala na płatną wersję aplikacji. To jest finalna metryka, przez pryzmat której powinno się oceniać wynik testu A/B.

Skupianie się tylko na rezultatach dotyczących mikrokonwersji to błąd, bo może prowadzić do błędnej interpretacji wyników. Dlatego w arkuszu przewidziałem miejsce na oczekiwany wzrost metryki bezpośrednio związanej z testowanym elementem, ale też na przewidywany wzrost przychodu. Na koniec dnia liczy się kasa na koncie firmy i przy testach A/B też trzeba o tym pamiętać.

Sprawdzenie założeń z rzeczywistym wynikiem

Ostatnim ważnym elementem procesu testów AB jest zestawianie przewidywanego wzrostu z rzeczywistymi wynikami.

Im więcej testów AB przeprowadzisz, tym większa baza danych na temat różnic między oczekiwaniami a rzeczywistością. Te dane pomagają skuteczniej prognozować wyniki przyszłych testów AB.

Z każdym kolejnym testem nadawanie priorytetów powinno być więc skuteczniejsze. A pamiętaj, że im trafniej zdecydujesz, która hipoteza ma być przetestowana, tym lepiej dla biznesu.

Podsumowanie

Niestety nierealne jest stworzenie mechanizmu, który automatycznie podpowie Ci: zrób ten test AB, bo na pewno przyniesie Ci 15% wzrostu przychodu. Proces priorytetyzacji hipotez zawsze będzie zawierał w sobie element zgadywania.

Ważne więc, aby zmaksymalizować swoje szanse na realistyczną prognozę. Dane pomagają w tym o wiele bardziej, niż opinie i osobiste preferencje.