Po co mi ten wskaźnik?

Ostatnio, u jednego z klientów, miałem okazję zobaczyć klasyczny tego przypadek 🙂 Jesteśmy na spotkaniu na którym podejmowane są strategiczne decyzje dotyczące rozwoju produktu. Rozpoczynają ludzie z obszaru analizy danych od zaprezentowania wskaźnika, który w ostatnim okresie spadł… No i się zaczęło. Przez 30 minut przedyskutowane zostały wszystkie możliwości podważające wynik wskaźnika i wszystkie argumenty dlaczego dalej jest super i nic się właściwie nie wydarzało. Podjęliśmy przecież działania żeby było lepiej, na pewno musiały to być działania dobre! Ani razu nie zostało zadane pytanie: “po co właściwie mierzyliśmy ten wskaźnik?“, “na jakie pytanie miał on odpowiedzieć?” i “co jego odpowiednie wartości miały oznaczać?”. Oczywiście koniec dyskusji do żadnego klarownego wniosku nie doprowadził.

Co się właściwie wydarzyło w tym zespole? Wskaźnik został dobrany, ale nikt sobie jasno nie powiedział po co właściwie będziemy go mierzyć i jaką decyzję chcemy podjąć na jego podstawie. Mieliśmy do czynienia z (UWAGA, będzie groźnie!) ZŁYM WSKAŹNIKIEM.

Złe wskaźniki

Złe wskaźniki nic nie mówią i sieją zamęt. Jeśli rosną – ludzie mają tendencję do przypisywania przyczyn sukcesu swoim własnym aktualnym działaniom. Sprzedaż powie, że to dzięki ich nowym technikom sprzedaży, marketing że to dzięki nowej akcji marketingowej, developerzy stwierdzą że to wprowadzona przez nich nowa funkcja odpowiada za sukces produktu.

Jeśli wskaźnik spada, reakcja jest zupełnie inna: sukces ma wielu ojców, porażka jest sierotą. To nie nasza wina, to inny dział sabotował wszystkich pracę, a tak w ogóle to ten wskaźnik o niczym nie świadczy, bo przecież nie uwzględniliśmy xyz. Negatywny wynik nie prowadzi do wysunięcia prawidłowych, konstruktywnych wniosków.

Dobre wskaźniki

Jak więc dobierać wskaźniki, żeby miały one sens? Przede wszystkim trzeba zmienić całe podejście z nimi związane. Trzeba wyjść z analizą nie od danych które posiadamy, ale od decyzji które chcemy podjąć i hipotez które chcemy potwierdzić.

Jeśli rozpoczynamy jakieś działania, musimy na początku się zastanowić po co je chcemy robić i jaki ma być założony efekt ich wykonania: zwiększenie sprzedaży? zmniejszenie odejść klientów? sprawdzenie nowego kanały dotarcia do klienta?. W jasnym precyzowaniu efektów może posłużyć bardzo proste ćwiczenie: wyobraź sobie co się musi wydarzyć żebyś był zadowolony po realizacji działań…

Teraz pozostaje już tylko dobrać odpowiednie wskaźniki, które będą jednoznacznie pokazywały czy zamierzony efekt został osiągnięty.

3 P wskaźników

Dobry wskaźnik powinien charakteryzować się 3 cechami. Łatwo je zapamiętać, bo wszystkie rozpoczynają się na literę “p”: praktyczność, przejrzystość, przystępność.

Praktyczność – aby wskaźnik miał sens i można było na jego podstawie podejmować decyzję, musi wykazywać zależność przyczynowo-skutkową. Jeśli spada to znaczy, że TO zrobiliśmy źle, jeśli rośnie to znaczy że TO zrobiliśmy dobrze. Rośnie – potwierdziliśmy TĘ hipotezę, spada – obaliliśmy TĘ hipotezę.

Przejrzystość – zależność przyczynowo-skutkowa musi być jasna, przejrzysta i tak samo rozumiana przez wszystkich zainteresowanych. Bez tego, każdy wskaźnik wskazujący coś negatywnego będzie od razu podważany. Gromadzone dane, sposób liczenia i w końcu zasada “działania” wskaźnika muszą być  w oczach pracowników wiarygodne.

Przystępność – wskaźnik powinien być zrozumiały dla dla wszystkich osób, którzy mają na jego podstawie podejmować decyzje. Przystępność to również łatwy dostęp do wyników wskaźnika i możliwość ich przeglądania przez wszystkich zainteresowanych.

Praktyka smutnego PO

Najpopularniejszym złym wskaźnikiem, które generalnie nic jasnego o produkcie nie mówi jest jego… bezwzględna liczba użytkowników. Doskonale to odczułem na własnej skórze. Na początku mojej drogi PMa, pracując jeszcze w Polskapresse, byłem odpowiedzialny za redesign jednego z produktów tej grupy wydawniczej. Po kilkumiesięcznym projekcie, nieprzespanych nocach przy pierwszym w życiu wdrożeniu, mogliśmy obtrąbić sukces – liczba użytkowników znacząco wzrosła (podobnie jak przychody z produktu). Jakież było zdziwienie współpracowników, gdy na cyklicznych kwartalnych spotkaniach podsumowujących najciekawsze zmiany w produktach wystąpiłem z prezentacją pt.: “O sukcesie smutnego product ownera”.

Skąd taki temat? Liczby zawsze mnie fascynowały i mierzenie sukcesu za pomocą tylko bezwzględnych wartości nie dawało mi w nocy spokoju. Kiedy zanurkowałem w głąb analitycznych danych zobaczyłem, że ten wskaźnik nie ma większego sensu. Nie jest on praktyczny, nie wynika wprost z zależności przyczynowo-skutkowej. Wzrost liczby użytkowników wynikał bardziej z jednorazowego nagłośnienia startu portalu, niż produktowej doskonałości. Co więcej, gdy zdefiniowałem już prawidłowe, praktyczne wskaźniki (w tym przypadku konwersji), okazało się że niektóre z nich po redesignie… spadły. To oczywiście spowodowało mój smutek 🙂

Nie ma jednak tego złego co by na dobre nie wyszło. Dysponując odpowiednimi wskaźnikami wiedziałem jakie hipotezy okazały się nieprawdziwe i jakie prawidłowe decyzje należy podjąć. Produkt dzięki temu nabrał drugiego życia. Dlatego tak ważne jest określenie sobie na początku odpowiednich wskaźników i jasne odpowiedzenie na pytanie: “Po co mi właściwie ten wskaźnik?”[sc:newsletter_scrum ]