Po każdej edycji Product Management Academy zbieramy feedback od uczestników. Mamy oceny liczbowe i odpowiedzi na pytania otwarte. 11 edycji za nami, więc mamy już trochę danych 😀
Analiza jakościowo pojedynczych opinii jest prosta – bierzemy ankiety i czytamy odpowiedni na kilkanaście pytań zawartych w ankiecie ewaluacyjnej. Trudniej już zobaczyć to co w product discovery jest najważniejsze – wzorce w odpowiedziach z kilku edycji, połączyć liczby z komentarzami i najważniejsze… przełożyć wszystko na sensowne decyzje.
Do takiej pracy często używam funkcji Deep Research w asystentach AI.
W tym artykule pokażę Ci jak przeanalizowałem realne wyniki z PMA. Ten sam plik z feedbackiem przeanalizowałem na trzy sposoby żeby porównać wyniki:
- Za pomocą prostego prompta.
- Za pomocą szczegółowego prompta i Deep Research.
- Za pomocą Deep Research uzupełnionego o kontekst produktu.
BTW. Poza Deep Research możesz też spróbować wykorzystać NotebookLM od Google jako AI research partnera – tez mi się fajnie sprawdza do takich analiz.
Jak wyglądały dane?
Tak wygląda plik z feedbackiem – najpierw oceny ilościowe, potem opinie jakościowe. Opinie skupiały się na ogólnej ocenie programu, poszczególnych modułów oraz trenerów.
Łącznie to kilkaset odpowiedzi od absolwentów tego programu.
Eksperyment 1: jeden prosty prompt
Zacząłem od przesłania danych z ankiet i krótkiego polecenia:
Jesteś doświadczonym UX Researcherem. Przeprowadź analizę wyników ankiety ewaluacyjnej programu Product Management Academy. Przedstaw zespołowi produktowemu, co robimy dobrze i dlaczego, a co źle i dlaczego. Co ludzie kochają? Czego nie lubią? Gdzie możemy się poprawić?
Najpierw uruchomiłem go w zwykłym trybie, a później z włączonym Deep Research.
To celowo niedoskonały prompt. Nie opisuje struktury danych, sposobu analizy ani formatu odpowiedzi. Dzięki temu łatwo sprawdzić, ile wnosi sam tryb Deep Research.
Tu podgląd wyniku dla włącznej funkcji deep research:
W moim teście Deep Research:
- przygotował bardziej uporządkowaną analizę.
- Lepiej łączył różne części ankiety i wyraźniej oddzielał mocne strony programu od obszarów do poprawy.
- Nie wszystkie rekomendacje były jednak trafne. Model znał odpowiedzi uczestników, ale prawie nic nie wiedział o samym PMA.
- Wypełniał brakujący kontekst własnymi założeniami.
Do tego problemu jeszcze wrócę.
Polecam Ci zrobić samemu taki test. Na co zwrócić uwagę? Nie patrz tylko na długość raportu. Dłuższa odpowiedź nie musi być lepsza. Sprawdź:
- Czy model używa konkretnych danych, czy pisze ogólnikami?
- Czy oddziela obserwacje od interpretacji?
- Czy pokazuje, jak często pojawia się dany problem?
- Czy łączy oceny liczbowe z wypowiedziami uczestników?
- Czy rekomendacje wynikają z danych?
- Czy potrafisz prześledzić drogę od cytatu lub liczby do wniosku?
2️⃣ Deep Research ze szczegółowym promptem
Aby Deep Research lepiej zadział możesz przygotować lepszy prompt, który dokładniej opisuje co ma się wydarzyć podczas takiej analizy. Prompt możesz przygotować samodzielnie lub może Ci w tym pomóc AI.
Użyłem w nim popularnych zasad „pisana dobrych promów” Wskazałem w nim kontekst, rolę, zadanie, oczekiwany rezultat, format , odbiorcę.
Najważniejsza zmiana to rozpisanie konkretnych kroków:
- policz średnie oceny dla pytań i edycji,
- znajdź najwyżej i najniżej oceniane elementy,
- sprawdź trendy między edycjami,
- pogrupuj komentarze w powtarzające się tematy,
- określ sentyment w każdej kategorii,
- dobierz reprezentatywne cytaty,
- połącz wyniki ilościowe z jakościowymi,
- dla każdej rekomendacji pokaż problem, proponowaną zmianę i oczekiwany wpływ.
Dodałem też prośbę, żeby model przed rozpoczęciem analizy potwierdził strukturę danych. To mały krok, który potrafi wychwycić duży problem. Jeśli AI źle zrozumie kolumnę albo pomiesza edycje, kolejne strony raportu mogą wyglądać wiarygodnie, ale będą bezużyteczne.
Kontekst (Context):
Twoim zadaniem jest przeprowadzenie kompleksowej analizy wyników ankiet ewaluacyjnych zebranych od uczestników po kilku edycjach szkolenia "Product Management Academy". Dane zawierają zarówno odpowiedzi ilościowe (np. oceny w skali 1-5), jak i jakościowe (otwarte komentarze i sugestie). Celem tej analizy jest zidentyfikowanie kluczowych mocnych stron programu, wskazanie obszarów wymagających poprawy oraz sformułowanie konkretnych, praktycznych rekomendacji, które pomogą w podniesieniu jakości i wartości przyszłych edycji szkolenia. Analiza powinna uwzględniać ewentualne trendy i różnice pomiędzy poszczególnymi edycjami kursu.
Rola (Role):
Jesteś światowej klasy ekspertem z ponad 20-letnim doświadczeniem, łączącym trzy kluczowe dziedziny:
Zarządzanie produktem (Product Management): Posiadasz dogłębną wiedzę na temat wszystkich etapów cyklu życia produktu, strategii produktowych, badań użytkowników i metryk, co pozwala Ci zrozumieć merytoryczny kontekst feedbacku.
Analiza Danych (Data Analysis): Specjalizujesz się w analizie danych mieszanych (ilościowych i jakościowych). Potrafisz wyciągać wnioski ze statystyk, ale także przeprowadzać analizę sentymentu i analizę tematyczną otwartych odpowiedzi, aby odkryć głębsze "dlaczego" za liczbami.
Projektowanie programów edukacyjnych (Instructional Design): Masz bogate doświadczenie w tworzeniu i optymalizacji profesjonalnych programów szkoleniowych. Rozumiesz, jak przełożyć feedback uczestników na konkretne zmiany w programie nauczania, metodach prowadzenia zajęć i materiałach dydaktycznych.
Twój styl komunikacji jest precyzyjny, zorientowany na dane i nastawiony na dostarczanie praktycznych rozwiązań.
Akcja (Action):
Postępuj zgodnie z poniższymi krokami, aby zapewnić najwyższą jakość analizy:
Przetworzenie Danych: Dokładnie przeanalizuj wszystkie dostarczone dane z ankiet ewaluacyjnych. Potwierdź, że zrozumiałeś strukturę danych, która obejmuje oceny liczbowe oraz otwarte komentarze od uczestników z różnych edycji szkolenia.
Dane do analizy:
[TU WKLEJ KOMPLETNE DANE Z ANKIETY. Postaraj się, aby dane były jak najbardziej ustrukturyzowane, np. oddzielając odpowiedzi z różnych edycji, grupując pytania lub stosując format CSV/JSON, jeśli to możliwe. Im lepiej zorganizowane dane wejściowe, tym lepsza będzie analiza.]
Analiza Ilościowa: Przeprowadź analizę statystyczną ocen liczbowych (np. w skali od 1 do 5).
Oblicz średnią ocenę dla każdego pytania/modułu w ramach jednej edycji oraz zbiorczo dla wszystkich edycji.
Zidentyfikuj moduły, prelegentów lub aspekty organizacyjne, które otrzymały najwyższe i najniższe oceny.
Porównaj wyniki pomiędzy różnymi edycjami, aby zidentyfikować ewentualne trendy (czy oceny rosną, spadają, czy są stabilne?).
Analiza Jakościowa: Przeprowadź dogłębną analizę otwartych komentarzy i sugestii.
Zidentyfikuj i pogrupuj powtarzające się motywy (tematy) w opiniach uczestników. Stwórz kategorie, takie jak: Treść merytoryczna, Prelegenci/Trenerzy, Tempo i Struktura Szkolenia, Ćwiczenia Praktyczne, Materiały Szkoleniowe, Organizacja i Logistyka.
Dla każdego zidentyfikowanego motywu przeprowadź analizę sentymentu (pozytywny, negatywny, neutralny).
Wskaż konkretne, często cytowane przykłady (anonimowe cytaty), które najlepiej ilustrują dany motyw.
Synteza Wyników: Połącz wnioski z analizy ilościowej i jakościowej. Znajdź korelacje między nimi. Na przykład: "Czy nisko oceniony moduł 'Strategia Go-To-Market' (średnia ocena 2.5/5) pokrywa się z komentarzami wskazującymi, że był on 'zbyt teoretyczny' lub 'przedstawiony w pośpiechu'?".
Identyfikacja Mocnych Stron i Obszarów do Poprawy: Na podstawie syntezy, jasno i zwięźle przedstaw:
Kluczowe Mocne Strony: Lista 3-5 najważniejszych elementów szkolenia, które są stale wysoko oceniane i chwalone przez uczestników.
Główne Obszary do Poprawy: Lista 3-5 priorytetowych problemów lub słabości, które najczęściej pojawiają się w negatywnych komentarzach i niskich ocenach.
Sformułowanie Rekomendacji: Przygotuj listę konkretnych, wykonalnych rekomendacji. Każda rekomendacja powinna zawierać:
Problem: Krótki opis problemu, który adresuje, poparty danymi (np. "Niskie oceny modułu X i komentarze o braku praktyki...").
Rekomendacja: Jasno sformułowana propozycja zmiany (np. "Wprowadzenie dwugodzinnego warsztatu praktycznego do modułu X, podczas którego uczestnicy...").
Oczekiwany Wpływ: Przewidywany pozytywny rezultat wdrożenia zmiany (np. "Zwiększenie zaangażowania, lepsze zrozumienie tematu i wyższa ocena modułu w przyszłych edycjach.").
Format (Format):
Przedstaw wyniki swojej analizy w formie ustrukturyzowanego raportu menedżerskiego, wykorzystując formatowanie Markdown. Raport powinien mieć następującą strukturę:
Tytuł: Analiza Feedbacku i Rekomendacje dla Product Management Academy
1. Podsumowanie Menedżerskie (Executive Summary): Krótki, 2-3 akapitowy przegląd najważniejszych wniosków i kluczowych rekomendacji.
2. Analiza Ilościowa:
Tabela ze średnimi ocenami dla poszczególnych modułów/aspektów.
Krótkie podsumowanie kluczowych obserwacji (najwyższe/najniższe oceny, trendy).
3. Analiza Jakościowa (Tematyczna):
Użyj nagłówków dla każdej zidentyfikowanej kategorii (np. ### Treść Merytoryczna).
W każdej kategorii użyj list wypunktowanych, aby przedstawić powtarzające się motywy (pozytywne i negatywne), wzmacniając je anonimowymi cytatami.
4. Kluczowe Mocne Strony: Lista wypunktowana.
5. Główne Obszary do Poprawy: Lista wypunktowana.
6. Szczegółowe Rekomendacje: Numerowana lista rekomendacji, każda z jasno opisanym problemem, proponowanym rozwiązaniem i oczekiwanym wpływem.
Odbiorca (Target Audience):
Ostatecznym odbiorcą tego raportu jest zespół organizacyjny "Product Management Academy", w skład którego wchodzą Head of Product odpowiedzialny za program, poszczególni trenerzy oraz koordynatorzy szkolenia. Są to zapracowani profesjonaliści, którzy potrzebują klarownego, zwięzłego i opartego na danych raportu. Cenią sobie bezpośrednie przejście od "problemu" do "proponowanego rozwiązania". Raport musi być łatwy do przyswojenia i bezpośrednio przekładać się na listę zadań do wdrożenia przed kolejną edycją szkolenia.Na start Deep Researchu możesz zwykle podejrzeć w LLMie co się wydarzy i poprawić ten plan:
Po takim doprecyzowaniu raport stał się bardziej użyteczny. Dostałem nie tylko listę plusów i minusów, ale też próbę pokazania dowodów oraz priorytetów.
Wyniki były lepsze niż poprzednio, ale jednak nie… dużo lepsze. Surowym danym z ankiety brakuje kontekstu produktowego. To często prowadzi do problemów:
- Bez zrozumienia propozycji wartości i struktury produktu, AI skupia się tylko na objawach zgłaszanych przez użytkowników, a nie na ich fundamentalnych przyczynach.
- Analiza bezkontekstowa traktuje wszystkich respondentów jako jednorodną grupę, przez co nie jest w stanie wychwycić problemów specyficznych dla kluczowych segmentów klientów.
- Rekomendacje formułowane w próżni, bez odniesienia do celów produktu, mają mniejszą siłę przebicia i nie wiadomo, jak przyczynią się do jego sukcesu.
- Nieznajomość działania produktu, jego formatu sprawia, że rekomendacje AI stają się ogólnikowe i często bezsensowne. Np. dla Case Study PMA – AI nie wie, że program trwa wiele tygodni i przedstawia to jako rekomendację zmian.
Eksperyment 3: dodaj kontekst produktu
W trzecim podejściu do tych samych danych i tego samego prompta dodałem plik z kontekstem PMA.
Plik zawierał informacje: czym jest PMA, grupa docelowa z personami, Format i struktura programy, Analizę konkurencji, model biznesowy i cennik, kluczowe metryki i ich wynik, jak prowadzimy marketing i sprzedaż.
Tak to wyglądało w samym asystencie ⤵️
W promptcie dopisałem:
Do analizy użyj również załączonego opisu produktu. Interpretuj feedback w odniesieniu do grupy docelowej, propozycji wartości, formatu programu i jego celów. Nie traktuj każdej prośby uczestnika jako gotowej rekomendacji. Najpierw ustal, jaki problem może za nią stać i czy jego rozwiązanie wspiera cele produktu. Jeśli komentarze różnych segmentów są sprzeczne, pokaż tę różnicę zamiast uśredniać odpowiedzi.
I to był game changer!
Dzięki kontekstowy Deep Research mógł odróżnić problem od sugerowanego przez uczestnika rozwiązania. Mógł też ocenić, czy rekomendacja pasuje do obietnicy programu. Zamiast automatycznie proponować „dodajcie więcej materiału”, częściej zauważał napięcie między zakresem, czasem i możliwością zastosowania wiedzy w praktyce.
Lepszy prompt pomaga, ale to dobry kontekst pomaga najbardziej
Po tym eksperymencie zostały ze mną cztery wnioski:
- Najpierw uporządkuj dane – Model poradzi sobie z CSV lub arkuszem lepiej niż z kilkudziesięcioma wklejonymi fragmentami tekstu. Dodaj opisy kolumn, zachowaj nazwy pytań i wyjaśnij skalę ocen. Jeśli jedna osoba ocenia w skali 1-5, druga 1-10, a brak odpowiedzi jest zapisany raz jako puste pole, a raz jako zero, najpierw to popraw.
- Poproś o dowody, nie tylko insighty – „Wyciągnij insighty” zachęca do tworzenia przekonującej narracji. Lepszy raport pokazuje: co dokładnie znaleziono, w ilu odpowiedziach, w których edycjach lub segmentach, jakie cytaty to ilustrują, gdzie kończą się dane, a zaczyna interpretacja.
- Jest to też trochę mniejsza szansa na halucynacje modelu.
- To kontekst produktu zmienia jakość rekomendacji – sam feedback mówi Ci, co uczestnik przeżył i jak to opisał. Nie powie Ci, jak masz zmienić produkt. Do tego potrzebujesz jeszcze strategii, grupy docelowej, propozycji wartości i ograniczeń. Gdy model ich nie zna, uzupełnia luki najbardziej prawdopodobną odpowiedzią. Zwykle poprawną językowo i fatalną produktowo. Dobry kontekst to podstawa dobrego AI harnessu sprawiającego, że model działa lepiej.
No i najważniejsze ⤵️
AI przygotowuje analizę, ale nie podejmuje decyzji za zespół
Raport z Deep Research traktuję jak pracę analityka, którą trzeba zrecenzować. Sprawdzam obliczenia, wracam do cytatów i pytam, czy rekomendacje pasują do kierunku produktu. Ale to my musimy podjąć finalną decyzję co z tymi rekomendacjami chcemy zrobić.
I właśnie to jest najważniejszy wniosek z mojego eksperymentu: Sam Deep Research pomaga przeprowadzić dokładniejszą analizę. Największą różnicę robi to, czy model rozumie produkt, którego ta analiza dotyczy. Jednak to finalna decyzja (jeszcze ludzka) jest najważniejsza.
