Test „20-30 pytań w ChatGPT”: dlaczego ta metoda raportowania GEO ma słabą moc statystyczną
Metodologia brzmi rozsądnie. Agencja przygotowuje listę 20-30 pytań związanych z branżą klienta, zadaje je w ChatGPT, zapisuje, czy marka się pojawia, i prezentuje wynik jako dowód, że działania GEO przynoszą efekt. W prezentacji dla klienta wygląda to przekonująco — konkretne liczby, konkretne pytania, konkretne odpowiedzi.
Problem zaczyna się, gdy ktoś zada te same 20-30 pytań jeszcze raz. Następnego dnia. Albo tego samego dnia, godzinę później. Wyniki się różnią — czasem nieznacznie, czasem na tyle, że marka, która wcześniej „była widoczna”, nagle znika z odpowiedzi.
Niedeterminizm modeli to nie usterka, to ich natura
Modele językowe generują odpowiedzi probabilistycznie. Ten sam prompt może zwrócić inny zestaw rekomendowanych firm, inną kolejność, inne źródła cytowań — nawet bez żadnej zmiany w algorytmie czy w treści strony klienta. Wynik zależy od wersji modelu, kontekstu rozmowy, tego, czy sesja jest „czysta”, a czasem też od lokalizacji zapytania.
To oznacza, że pojedynczy pomiar — nawet jeśli obejmuje 20 czy 30 pytań zadanych raz — jest właściwie migawką jednego, niepowtarzalnego stanu modelu w konkretnym momencie. Nie mówi nic o tym, czy ten stan się utrzyma, czy był wyjątkiem, czy regułą.
Dlaczego liczba pytań nie rozwiązuje problemu próby
Zwiększenie liczby pytań z 5 do 20-30 brzmi jak poprawa metodologii. W pewnym sensie tak jest — szerszy zestaw zapytań lepiej pokrywa różne sposoby formułowania intencji klienta. Ale to rozwiązuje tylko jeden problem: różnorodność pytań. Nie rozwiązuje drugiego: powtarzalność odpowiedzi na to samo pytanie.
Jeśli agencja zadaje 25 różnych pytań jeden raz każde, otrzymuje 25 pojedynczych obserwacji — nie 25 potwierdzeń tego samego zjawiska. To, że marka pojawiła się w 10 z 25 odpowiedzi, może oznaczać stabilną widoczność na poziomie 40%. Może też oznaczać, że przy innym zestawie sesji wynik byłby 15% albo 65% — bo każda z tych 25 odpowiedzi sama w sobie jest niestabilna.
Rzetelna metodologia wymaga więc dwóch wymiarów jednocześnie: różnorodności pytań oraz powtórzeń tego samego pytania w osobnych, czystych sesjach. Bez tego drugiego wymiaru raport pokazuje jeden punkt na mapie, a prezentuje go jako całą mapę.
Co dodatkowo zniekształca wynik pojedynczego testu
Oprócz samej niestabilności modelu, na wynik testu wpływa kilka czynników, które łatwo pominąć przy szybkim sprawdzeniu:
- Kontekst rozmowy. Jeśli nazwa marki pojawiła się wcześniej w tej samej sesji, model może ją uwzględnić w kolejnych odpowiedziach — nie dlatego, że „naturalnie” ją poleca, tylko dlatego, że już ją zna z kontekstu.
- Pamięć i historia konta. ChatGPT może korzystać z wcześniejszych czatów i personalizacji, nawet jeśli test prowadzony jest w „nowej” rozmowie na tym samym koncie.
- Dokładne brzmienie pytania. Niewielka zmiana sformułowania — inna kolejność słów, inny synonim — może prowadzić do zupełnie innej odpowiedzi, bo model interpretuje całe zdanie, nie pojedyncze słowa kluczowe.
- Wersja modelu i obecność wyszukiwania internetowego. Odpowiedź z włączonym wyszukiwaniem i bez niego to w praktyce dwa różne mechanizmy generowania wyniku.
Każdy z tych czynników sam w sobie potrafi zmienić wynik testu o kilkadziesiąt procent, niezależnie od tego, czy działania GEO cokolwiek zmieniły w rzeczywistości.
Jak wygląda raport, który faktycznie coś mówi
Metodologia, która ma sens, różni się od „zadaj 20-30 pytań raz” w kilku konkretnych punktach:
- każde pytanie jest zadawane wielokrotnie, w osobnych, czystych sesjach — bez pamięci, bez historii, bez personalizacji;
- test jest powtarzany cyklicznie, a nie jednorazowo — dopiero seria pomiarów w czasie pozwala odróżnić trend od szumu;
- raport pokazuje nie tylko „czy marka się pojawiła”, ale też kontekst — czy została przedstawiona jako rekomendowany dostawca, czy AI poprawnie rozpoznaje zakres usług, jakie źródła cytuje;
- metoda jest udokumentowana na tyle precyzyjnie, że ktoś inny mógłby ją powtórzyć i porównać wyniki.
Bez tych elementów raport „widoczności w AI” jest w najlepszym razie ciekawostką, a w najgorszym — narzędziem sprzedażowym, które wykorzystuje przypadkową, korzystną sesję jako dowód skuteczności.
Dlaczego to ma znaczenie przy wyborze agencji
Kiedy agencja prezentuje wzrost widoczności z „8 na 25 pytań” do „18 na 25 pytań”, warto zapytać o dwie rzeczy: czy pytania były zadawane wielokrotnie w czystych sesjach, oraz czy pomiar bazowy i pomiar końcowy pochodzą z tej samej, powtarzalnej procedury. Jeśli odpowiedzi brak albo są wymijające, liczba w raporcie mówi więcej o doborze momentu pomiaru niż o realnej zmianie widoczności marki.
To jeden z powodów, dla których przy ocenie skuteczności agencji GEO w rankingu pierwszastrona.io sprawdzane jest nie tylko to, czy agencja w ogóle testuje widoczność w AI, ale też jak solidna jest sama procedura pomiaru — bo pojedynczy, niepowtórzony test nie różni się metodologicznie od rzutu monetą.
Praktyczny wniosek
Test „20-30 pytań w ChatGPT” nie jest bezwartościowy — jako punkt wyjścia do zrozumienia, jak model postrzega markę, może być użyteczny. Staje się problemem dopiero wtedy, gdy jednorazowy pomiar jest prezentowany jako dowód trwałej skuteczności działań GEO.
Przed podpisaniem umowy albo przed przyjęciem raportu jako podstawy do rozliczenia warto zapytać agencję wprost: czy to samo pytanie było zadawane więcej niż raz, w ilu sesjach, i czy wynik był powtarzalny w czasie. Jeśli odpowiedź sprowadza się do jednego zrzutu ekranu z jednej rozmowy — to nie jest pomiar, to anegdota.