Jeden screenshot z ChatGPT to nie dowód: dlaczego pojedynczy test widoczności AI jest bezwartościowy metodologicznie

Agencja wysyła prezentację. Na jednym ze slajdów zrzut ekranu z ChatGPT, w którym model wymienia nazwę klienta jako rekomendowane rozwiązanie. Podpis: „efekt naszych działań GEO”. Wygląda przekonująco, bo widać konkretny, namacalny wynik — model powiedział to, co miał powiedzieć. Problem w tym, że taki zrzut ekranu jako dowód skuteczności ma mniej więcej taką wartość dowodową, co jedno rzucenie kostką jako dowód, że kostka jest obciążona.

Dlaczego jeden prompt nic nie dowodzi

Modele językowe nie działają jak wyszukiwarka, która dla tego samego zapytania zawsze zwraca tę samą listę wyników. Generują odpowiedź token po tokenie, z elementem losowości wbudowanym w sam mechanizm samplingu. Zadaj to samo pytanie dwa razy z rzędu, a możesz dostać dwie różne odpowiedzi — inną kolejność wymienionych marek, inny zestaw cytowanych źródeł, a czasem Twoją markę raz w środku listy, raz w ogóle.

To nie jest wada, którą agencje przeoczyły. To jest fundamentalna właściwość architektury tych systemów. I dlatego pojedynczy zrzut ekranu odpowiada na pytanie „czy model może to powiedzieć”, a nie na pytanie, które faktycznie interesuje klienta: „czy model to mówi konsekwentnie, wystarczająco często, żeby miało to znaczenie biznesowe”.

Skala problemu jest większa, niż się wydaje

Badania sprawdzające konsekwencję odpowiedzi AI pokazują, jak niestabilna jest ta widoczność w praktyce. Gdy sprawdzono, jak często te same marki pojawiają się w odpowiedziach na te same prompty przy kolejnych uruchomieniach, okazało się, że tylko około 30% marek utrzymuje obecność między dwoma kolejnymi odpowiedziami. Przy pięciu kolejnych uruchomieniach tego samego promptu ten odsetek spada do około 20%.

Inaczej mówiąc: cztery na pięć marek, które pojawiły się w odpowiedzi AI raz, znika przy kolejnym uruchomieniu tego samego pytania. Jeśli agencja pokazuje Ci jeden zrzut ekranu, w którym Twoja marka się pojawiła, statystycznie równie prawdopodobne jest, że przy następnym uruchomieniu tego samego promptu jej tam nie będzie.

To nie jest argument przeciwko GEO jako dyscyplinie. To argument przeciwko traktowaniu pojedynczej odpowiedzi modelu jako dowodu czegokolwiek.

Skąd bierze się ta niestabilność

Kilka mechanizmów działa jednocześnie i każdy z nich osobno wystarczyłby, żeby unieważnić jednorazowy test.

Losowość generowania. Modele nie wybierają zawsze najbardziej prawdopodobnego kolejnego słowa — dobierają je z rozkładu prawdopodobieństwa, co oznacza, że przy tym samym pytaniu wynik może się różnić przy każdym uruchomieniu.

Query fan-out. W przypadku Google Gemini pojedyncze pytanie użytkownika rozpada się na kilka pod-zapytań, które są wyszukiwane niezależnie, a cytaty pochodzą z najlepszych wyników każdego z nich. Sam sposób, w jaki system rozbija pytanie na pod-zapytania, może się różnić między uruchomieniami, co dodatkowo zmienia zestaw cytowanych źródeł.

Świeżość i różnorodność. Modele mają wbudowaną tendencję do mieszania odpowiedzi w czasie — nawet jeśli dana strona jest dobrym źródłem, system może celowo zaproponować inny zestaw cytowań przy kolejnym zapytaniu, żeby nie powtarzać tej samej odpowiedzi w kółko.

Kontekst sesji i personalizacja. Historia rozmowy, ustawienia konta, lokalizacja czy nawet drobna zmiana sformułowania pytania mogą przesunąć wynik. Dwie osoby pytające „z pozoru” o to samo mogą dostać zupełnie różne odpowiedzi.

Każdy z tych mechanizmów osobno powoduje, że jeden test to migawka z jednego momentu, a nie miara stanu rzeczy.

Dlaczego branża i tak to sprzedaje jako dowód

Zrzut ekranu jest tani do zdobycia i łatwy do zrozumienia przez klienta, który nie zna mechaniki działania LLM-ów. Wystarczy zadać pytanie kilkanaście razy, wyłapać ten jeden przypadek, w którym marka się pojawiła, i wkleić go do prezentacji. To nie jest fałszowanie danych w sensie dosłownym — to selektywne pokazywanie jednego wyniku z rozkładu, w którym większość prób wygląda inaczej.

Problem pojawia się wtedy, gdy taki zrzut ekranu staje się jedynym raportem z działań GEO przez cały kwartał. Klient płaci za widoczność w AI, dostaje jeden obrazek, a nie ma żadnego sposobu, żeby ocenić, czy to jest reprezentatywny stan, czy szczęśliwy traf.

Jak powinien wyglądać pomiar, który cokolwiek znaczy

Jeśli jeden prompt nic nie dowodzi, wniosek jest prosty: pomiar musi być powtarzalny w czasie, w wielu silnikach i na wielu wariantach zapytań, a nie jednorazowy. Konkretnie oznacza to:

• Wielokrotność promptów. Nie jedno pytanie, tylko zestaw wariantów, które realny klient mógłby zadać na różnych etapach decyzji zakupowej.
• Wielokrotność uruchomień. To samo pytanie sprawdzane kilka razy w odstępie czasu, żeby zobaczyć, czy obecność marki jest przypadkowa czy konsekwentna.
• Wiele silników jednocześnie. ChatGPT, Gemini, Perplexity i Claude działają na różnych mechanizmach retrievalu i mają różne preferencje źródeł, więc wynik z jednego z nich nie przekłada się automatycznie na pozostałe.
• Cykliczność w odstępach tygodni, nie miesięcy. Widoczność w AI potrafi się zmienić szybciej niż pozycje w Google, więc jednorazowy audyt raz na kwartał daje fałszywy obraz stabilności.

W pierwszastrona.io przy ocenie skuteczności agencji GEO właśnie ten element bierzemy pod uwagę — czy raportowanie opiera się na powtarzalnym śledzeniu widoczności w wielu promptach i silnikach, czy na pojedynczych, wyrywkowych zrzutach ekranu, które trudno zweryfikować.

Co zrobić jako klient, gdy dostajesz taki zrzut ekranu

Najprostszy test weryfikujący każde case study GEO: poproś o powtórzenie tego samego promptu na żywo, kilka razy z rzędu. Jeśli marka pojawia się za każdym razem — to konkretny sygnał. Jeśli pojawia się raz na pięć prób, agencja pokazała Ci najlepszy dzień z tygodnia, a nie efekt swojej pracy.

Warto też zapytać wprost, na jakiej podstawie liczbowej agencja twierdzi, że widoczność wzrosła — ile promptów, ile silników, ile uruchomień w czasie. Brak odpowiedzi na to pytanie jest samo w sobie odpowiedzią.

Wniosek

Pojedynczy zrzut ekranu z ChatGPT to anegdota, nie dane. LLM-y są z natury niedeterministyczne, a badania pokazują, że nawet 70–80% marek traci obecność w odpowiedzi AI już przy kolejnym uruchomieniu tego samego pytania. Jeśli agencja rozlicza się z widoczności w AI, żądaj metodologii opartej na powtarzalności — wielu promptach, wielu silnikach i pomiarze rozłożonym w czasie. Wszystko inne to zdjęcie z jednego rzutu kością, podpisane jako dowód skuteczności.