Jeszcze rok temu pomiar widoczności w AI był domeną kilku wyspecjalizowanych firm. Dziś lista narzędzi, które oferują „AI visibility score”, rośnie z tygodnia na tydzień. To dobra wiadomość dla rynku — więcej danych, więcej konkurencji, niższe ceny wejścia. Problem pojawia się, gdy dwa raporty, przygotowane rzekomo o tej samej marce w tym samym miesiącu, pokazują wyniki różniące się o kilkaset procent.
To nie jest hipotetyczny scenariusz. To konsekwencja tego, jak zbudowane są te narzędzia — i agencje mogą tę elastyczność wykorzystać, żeby pokazać wynik, który im pasuje, zamiast taki, który odpowiada rzeczywistości.
Skąd biorą się rozbieżności rzędu kilkuset procent
Podstawowy problem polega na tym, że „widoczność w AI” nie jest jedną metryką — to kilka różnych pomiarów, które łatwo pomylić.
Różny zestaw promptów. Jedno narzędzie testuje 10 zapytań, inne 50. Jedno pyta ogólnie o „najlepsze firmy w kategorii”, inne dokłada warianty z intencją zakupową, lokalizacją czy segmentem klienta. Wynik zależy od tego, co dokładnie zapytano — a to, że Mention Rate dla ogólnego pytania o agencje może wynosić 100%, a dla pytania o agencję specjalizującą się w e-commerce spaść do 67%, pokazuje, jak mocno sama konstrukcja promptów wpływa na liczbę.
Różne modele. ChatGPT, Claude, Gemini i Perplexity budują odpowiedzi na różnych źródłach i z różną częstotliwością wspominają te same marki. Raport oparty wyłącznie na jednym modelu pokaże inny obraz niż raport łączący cztery.
API kontra scrapowanie. Odpowiedzi pobierane przez API mają inną długość i rzadziej wyzwalają wyszukiwanie w internecie niż te generowane w interfejsie przeglądarkowym. Dwa narzędzia mierzące „to samo” zapytanie, ale różnymi metodami pozyskiwania danych, mogą dostać różne listy cytowanych marek i źródeł.
Różna definicja sukcesu. Jedno narzędzie liczy każde wystąpienie nazwy marki jako „wzmiankę”. Inne liczy tylko sytuacje, w których model podaje link do strony klienta jako „cytowanie”. Trzecie dodaje jeszcze sentyment — czy wzmianka jest pozytywna, neutralna czy krytyczna. Bez ujednoliconej terminologii (reference, citation, sentiment) porównanie dwóch raportów nie ma sensu, nawet jeśli oba dotyczą tej samej marki.
Dlaczego to nie jest tylko „błąd pomiaru”
Modele AI są z natury losowe. Badanie SparkToro i Gumshoe.ai pokazało, że ChatGPT i Google AI wygenerowały identyczną listę marek w tej samej kolejności w mniej niż 1 na 100 prób. Jednocześnie trzy najczęściej wymieniane marki w danej kategorii pojawiały się bardzo regularnie — w jednym z badań ChatGPT robił to w 64% odpowiedzi, Claude w 73%, a Google AI w 68%.
To oznacza dwie rzeczy naraz. Po pierwsze, pojedynczy pomiar — jeden zestaw promptów, jeden dzień, jeden model — niczego nie dowodzi, bo losowość modelu zdominuje wynik. Po drugie, stabilna jest nie konkretna pozycja marki na liście, tylko częstotliwość jej pojawiania się w dłuższym okresie. Raport, który porównuje jeden pomiar z drugiej agencji z jednym pomiarem z pierwszej, w praktyce porównuje dwa rzuty kością.
Dochodzi do tego mechanizm query fan-out: zanim model odpowie, rozbija pytanie użytkownika na kilka pytań cząstkowych i sam je odpytuje. Dwa narzędzia mogą więc testować formalnie to samo pytanie główne, ale dostawać różne odpowiedzi, bo model inaczej rozłożył je na podpytania danego dnia.
Checklista: co sprawdzić w metodologii raportu GEO
Zanim porównasz dwa raporty albo zaakceptujesz jeden jako podstawę decyzji budżetowej, warto zapytać agencję o kilka konkretnych rzeczy.
- Czy zestaw zapytań jest zamrożony między okresami? Jeśli w drugim miesiącu zmieniono prompty, porównanie wyników z pierwszym miesiącem jest bezwartościowe.
- Z ilu modeli pochodzą dane? Wynik oparty tylko na ChatGPT to inna historia niż wynik uśredniony z czterech modeli — i te dwie liczby nie powinny być prezentowane jako to samo.
- Czy raport pokazuje jeden uśredniony wskaźnik, czy wyniki per model? Marka może rosnąć w Claude i stać w miejscu w Perplexity. Jedna zbiorcza liczba to maskuje.
- Ile pomiarów składa się na wynik miesięczny? Dane zbierane codziennie lub co tydzień i uśrednione do raportu miesięcznego to co innego niż jeden test z jednego dnia.
- Jak zdefiniowano „cytowanie”? Czy to każda wzmianka nazwy, czy tylko wzmianka z linkiem do strony klienta. Bez tej definicji liczba procentowa nic nie znaczy.
- Czy dane pochodzą ze scrapowania interfejsu, czy z API? Te dwa źródła dają różne wyniki, więc metoda pozyskania danych powinna być jawna.
- Czy próbka jest wystarczająco duża, żeby wyciągać wnioski? Test na 20 zapytaniach razy kilka powtórzeń razy kilka modeli daje inny poziom pewności niż jeden przebieg na 5 pytaniach.
Ta sama checklista działa odwrotnie — jako sposób na szybkie rozpoznanie raportu, który pokazuje liczbę wygodną dla agencji, a nie taką, która odzwierciedla rzeczywistą sytuację marki.
Jedna liczba, różne historie
Warto też pamiętać, że sam wynik procentowy nie mówi nic o przyczynie. Spadek widoczności z 40% do 15% może oznaczać realny problem ze stroną klienta, ale może też być efektem zmiany modelu bazowego przez dostawcę AI albo zmiany zestawu promptów między raportami. Dobry raport opisuje nie tylko liczbę, ale też log zmian na stronie i zmian w samych modelach — inaczej klient nie jest w stanie odróżnić swojego problemu od szumu rynkowego.
W rankingu pierwszastrona.io przy ocenie skuteczności agencji w obszarze GEO patrzymy właśnie na to, czy metodologia pomiaru jest spójna w czasie i jawna — a nie tylko na samą liczbę procentową, którą agencja prezentuje klientowi. Agencja, która nie potrafi odpowiedzieć na pytania z powyższej checklisty, najprawdopodobniej sama nie kontroluje, co jej narzędzie faktycznie mierzy.
Praktyczny wniosek
Zanim porównasz dwa raporty GEO albo zdecydujesz, która agencja „robi to lepiej”, zapytaj o metodologię, a nie o wynik końcowy. Ten sam zestaw promptów, te same modele, ta sama częstotliwość pomiaru i jasna definicja cytowania to warunek, bez którego żadne porównanie — ani między okresami, ani między agencjami — nie ma sensu.