Korekta danych
Blog · GEO / AI SEO

OAI-SearchBot, GPTBot, ClaudeBot: jak sprawdzić, czy agencja SEO nie blokuje Cię w AI przez błąd w robots.txt

OAI-SearchBot, GPTBot, ClaudeBot: jak sprawdzić, czy agencja SEO nie blokuje Cię w AI przez błąd w robots.txt

Zanim ktokolwiek zacznie optymalizować treść pod cytowania w ChatGPT czy Perplexity, warto odpowiedzieć na pytanie dużo bardziej przyziemne: czy systemy AI mogą w ogóle wejść na stronę i ją odczytać. To nie jest pytanie retoryczne. W wielu firmach odpowiedź brzmi „nie”, a nikt o tym nie wie, bo blokada nie generuje żadnego alertu – strona po prostu cicho znika z pola widzenia modeli.

Problem w tym, że ta awaria wygląda identycznie jak brak efektów contentowych. Agencja może publikować świetne artykuły, wdrażać dane strukturalne i raportować „pracę nad GEO”, a strona i tak nie pojawi się w żadnej odpowiedzi AI, bo bot dostaje status 403 od trzech miesięcy. Dobra wiadomość: to jedna z niewielu rzeczy w GEO, które można zweryfikować samodzielnie, bez żadnego płatnego narzędzia, w kilkanaście minut.

Boty AI to nie jeden byt, a trzy różne zadania

Pierwszy błąd, który popełniają zarówno firmy, jak i agencje, to traktowanie „bota AI” jako jednej kategorii. W rzeczywistości pod jedną marką kryją się różne user-agenty odpowiadające za różne funkcje:

  • Boty indeksujące pod wyszukiwanie (np. OAI-SearchBot) – budują indeks, z którego system czerpie treści przy odpowiadaniu na pytania. To one decydują, czy masz szansę na cytowanie.
  • Boty działające na żądanie użytkownika (np. ChatGPT-User) – wchodzą na konkretny adres, gdy ktoś w rozmowie poprosi asystenta o otwarcie strony.
  • Boty trenujące modele (np. GPTBot) – zbierają materiał do przyszłych wersji modelu, nie wpływają na dzisiejsze odpowiedzi.

Blokada jednego z nich nie oznacza automatycznie blokady pozostałych. Zamknięcie GPTBota nie wypisuje Cię z ChatGPT – to osobna decyzja od zablokowania OAI-SearchBota, który faktycznie odpowiada za widoczność w wynikach wyszukiwania wewnątrz czatu. Mieszanie tych reguł w jednym wpisie robots.txt jest jednym z najczęstszych źródeł nieporozumień przy audytach technicznych.

Warto dodać, że OpenAI we własnej dokumentacji zaznacza, że robots.txt może nie mieć zastosowania do ChatGPT-User, bo to żądanie inicjowane przez człowieka, nie automatyczne crawlowanie. W praktyce oznacza to, że sam plik robots.txt trzeba traktować jako deklarację intencji, a nie gwarancję – ale to już temat dla osób zabezpieczających treści płatne, nie dla większości stron komercyjnych, które chcą być widoczne.

Dlaczego ta blokada w ogóle się zdarza

W praktyce rzadko jest to świadoma decyzja strategiczna. Najczęściej dzieje się jedno z trzech:

  • Wtyczka bezpieczeństwa albo CDN (np. Cloudflare) ma domyślnie włączoną opcję „Block AI bots” i ktoś ją kliknął, konfigurując ochronę przed botami w ogóle.
  • Dział IT albo hosting wdrożył zbiorczą regułę w WAF, żeby ograniczyć obciążenie serwera, bez rozróżniania funkcji poszczególnych crawlerów.
  • Agencja SEO skopiowała gotowy szablon robots.txt z innego projektu, w którym blokada botów AI miała sens (np. serwis z treścią płatną), i nie dostosowała go do strony, która właśnie chce być cytowana.

We wszystkich trzech przypadkach efekt jest taki sam: strona traci widoczność w AI z przyczyn czysto technicznych, a nie contentowych. Żadna liczba artykułów czy wdrożeń schema.org tego nie naprawi, jeśli bot w ogóle nie dostaje się do treści.

Jak to sprawdzić samemu w kilka minut

Nie trzeba płacić za narzędzie GEO, żeby zweryfikować podstawy. Wystarczy przejść przez kilka kroków.

1. Otwórz plik robots.txt (adres twojadomena.pl/robots.txt) i poszukaj trzech rzeczy: reguł z nazwą konkretnego bota AI i Disallow: /, zbiorczych reguł blokujących całe grupy botów jednym wpisem oraz ogólnej reguły User-agent: * z szerokim Disallow, która działa na wszystkich, nie tylko na boty AI.

2. Sprawdź, co faktycznie zwraca serwer. Sam plik robots.txt to deklaracja, nie egzekucja – blokada może siedzieć poziom niżej. W terminalu (działa na macOS, Linuksie i Windowsie) wykonaj zwykłe zapytanie, a potem to samo podszywając się pod konkretnego bota:

curl -I https://twojadomena.pl/
curl -I -A "OAI-SearchBot" https://twojadomena.pl/
curl -I -A "ClaudeBot" https://twojadomena.pl/

Jeśli zwykłe zapytanie zwraca status 200, a zapytanie z nazwą bota 403 albo 429 – to sygnał blokady na poziomie serwera, niezależnie od tego, co mówi robots.txt. Status 429 jest szczególnie podstępny, bo strona działa normalnie dla ludzi, a bot po prostu dostaje odmowę i odpuszcza bez żadnego śladu w analityce.

3. Zajrzyj do panelu CDN i WAF. Jeśli strona korzysta z Cloudflare albo podobnego rozwiązania, sprawdź zakładki odpowiadające za kontrolę crawlerów AI, zbiorcze przełączniki typu „Block AI bots” oraz tryb antybotowy, który potrafi serwować botom stronę z wyzwaniem zamiast treści. To dziś najczęstsza przyczyna problemów z widocznością w odpowiedziach modeli – i zwykle wdrożona „po cichu” przez kogoś, kto klikał przez kreator konfiguracji, nie czytając konsekwencji.

4. Sprawdź nie tylko stronę główną. Blokady najczęściej dotyczą konkretnych katalogów – bloga, bazy wiedzy, sekcji produktowej. Czyli dokładnie tych miejsc, które mają generować cytowania.

Czy blokada faktycznie kosztuje widoczność

Tu trzeba zachować proporcje – to nie jest jeszcze dowód na przyczynowość, ale wyraźny sygnał ostrzegawczy. Analiza ponad tysiąca domen pokazała, że serwisy blokujące GPTBota notowały medianę rzędu kilku tysięcznych cytowania w ChatGPT na jedną posiadaną pozycję w Google, wobec wyniku kilkaset razy wyższego u serwisów, które go wpuszczały. Efekt był przy tym specyficzny dla konkretnego dostawcy – blokada nie działa jak jeden uniwersalny wyłącznik dla całego ekosystemu AI, tylko osobno dla każdej firmy.

Warto to sprawdzać regularnie, nie jednorazowo. Przy ocenie skuteczności agencji w pierwszastrona.io jednym z elementów, które bierzemy pod uwagę, jest właśnie to, czy wdrożenia techniczne faktycznie odpowiadają na pytanie „czy bot dociera do treści”, a nie tylko czy w raporcie jest wpis „audyt techniczny wykonany”.

Co zrobić, jeśli agencja mówi, że to nie jej działka

Blokada bota AI często leży formalnie poza zakresem umowy – w kompetencji hostingu, działu IT albo dostawcy CDN. To nie zwalnia agencji SEO lub GEO z odpowiedzialności za sprawdzenie tego raz na kwartał. Jeśli w umowie jest zapis o „optymalizacji pod widoczność w AI”, a nikt nigdy nie zweryfikował statusu zwracanego botom, to wdrożenia contentowe mogą być kompletnie bezcelowe.

Praktyczny wniosek jest prosty: zanim zapytasz agencję, co zrobiła pod GEO, zapytaj, kiedy ostatnio sprawdzała logi serwera pod kątem statusów zwracanych OAI-SearchBotowi, ChatGPT-User i ClaudeBotowi. Jeśli odpowiedzią jest cisza albo „robots.txt jest w porządku”, zrób test opisany wyżej samodzielnie – zajmie to kilka minut, a odpowie na pytanie, które żadna treść na stronie nie jest w stanie zrekompensować.