Чи справді ChatGPT, Claude і Perplexity дістаються до вашого сайту?
Відкритий robots.txt не є доказом доступу. Налаштування захисту й правила CDN можуть відмовляти ШІ-краулерам вище за цей файл, і в жодному SEO-звіті цього не буде. Ця перевірка дивиться на відповідь, яку ваш сайт віддає кожному з них просто зараз.
Перевірте, чи дістаються до вашого сайту ШІ-краулери
Ми питаємо у вашої головної сторінки код відповіді — по одному запиту на краулера, з нашого сервера. Нічого не зберігаємо.
Що означають коди
200 означає, що двері відчинені і краулер отримав вашу сторінку. 403 або 401 означає відмову, і для групи ШІ-пошуку це вирішальне: документація OpenAI прямо каже, що сайти, які відмовилися від OAI-SearchBot, не показуватимуться у відповідях пошуку ChatGPT. 429 означає, що ви обмежуєте частоту цьому краулеру, і закінчується це зазвичай так само.
5xx або таймаут — це не вирок. Це означає, що сервер не відповів саме на цей запит, і чесне прочитання тут — спробувати ще раз, а не робити висновки.
Три групи існують тому, що блокування ШІ — не одне рішення. Відмовити навчанню моделей, але пустити ШІ-пошук — цілком послідовний і поширений вибір. Відмовити ШІ-пошуку теж вибір — просто він має бути свідомим.
Якщо краулеру відмовили
- 1
Спершу подивіться robots.txt
Це єдине місце, яким ви керуєте напряму. Заборона на ім’я краулера або суцільна заборона — найпростіше пояснення і найшвидше виправлення.
- 2
Потім CDN і засоби захисту
У Cloudflare і подібних сервісів є власні перемикачі ШІ-ботів, які діють вище за robots.txt. Це і є звичайний винуватець: robots.txt відкритий навстіж, а запит просто не доходить.
- 3
Перевірте й сторінки послуг
Ми питаємо головну. Правила часто відрізняються глибше на сайті, тож повторіть перевірку на тих сторінках, які ви хочете бачити в цитатах.
- 4
Підтвердьте логами сервера
Ім’я в User-Agent саме по собі не доводить нічого. Звіряйте запити з діапазонами IP, які публікують вендори, — це єдина версія перевірки, яку не можна підробити.
Питання про цю перевірку
- Як дізнатися, чи заблокований мій сайт для ChatGPT?
Запитайте власну сторінку, представившись пошуковим краулером OpenAI, і подивіться на код відповіді. 403 або 401 означає, що запит відхилено, а документація OpenAI каже, що сайти, які відмовилися від OAI-SearchBot, не показуватимуться у відповідях пошуку ChatGPT. 200 означає, що для цього запиту двері були відчинені. Цей інструмент робить саме це одразу для шести краулерів; те саме можна зробити однією командою curl.
- Чому robots.txt дозволяє, а краулер усе одно отримує 403?
Бо robots.txt — це прохання, а не ворота. Усе, що стоїть перед вашим сервером — CDN, фаєрвол, правило керування ботами, — може відмовити краулеру ще до того, як справа дійде до сайту, і в таких налаштувань часто є власні перемикачі ШІ-ботів, увімкнені за замовчуванням. Це найпоширеніша причина невидимого блокування: файл відкритий, а запит не доходить.
- Чи є 200 доказом, що ChatGPT бачить мій сайт?
Ні. Ім’я краулера в заголовку User-Agent може написати будь-хто, тож 200 доводить лише те, що ваш сайт не відмовляє запитам із таким іменем. Серйозний захист звіряє натомість IP-адресу. Щоб підтвердити як слід, знайдіть у логах сервера запити з діапазонів IP, які публікують вендори. 200 тут — добрий знак і точка відліку, а не доказ.
- Чи варто блокувати ШІ-краулерів?
Залежить від того, яких саме. Краулери, що живлять ШІ-пошук, вирішують, чи може ваш бізнес узагалі з’явитися у відповідях, тож їхнє блокування коштує вам видимості. Краулери навчання — окреме рішення: відмова віддавати контент на навчання моделей нічого не змінює в тому, чи вас цитують, і чимало компаній так і роблять. Помилка — заблокувати всіх одним перемикачем і не знати, який із них був потрібен.
- Ви зберігаєте адресу, яку я перевіряю?
Ні. Перевірка виконується, коли ви натискаєте кнопку, результат показується вам, і нічого про адресу не записується й нікуди не надсилається. Ми рахуємо, скільком краулерам відмовили, без адреси, — щоб розуміти, чи корисний інструмент.
Отримали 403 і не розумієте, звідки він?
Надішліть нам результат. За 30 хвилин знайдемо, який саме шар відмовляє краулеру — robots.txt, CDN чи правило захисту — і скажемо, що змінити. Безкоштовно і без зобов’язань.
Як ми працюємо з видимістю в ШІ-пошуку