Действительно ли ChatGPT, Claude и Perplexity добираются до вашего сайта?
Открытый robots.txt не является доказательством доступа. Настройки защиты и правила CDN могут отказывать ИИ-краулерам выше этого файла, и ни в одном SEO-отчёте этого не будет. Эта проверка смотрит на ответ, который ваш сайт отдаёт каждому из них прямо сейчас.
Проверьте, добираются ли до вашего сайта ИИ-краулеры
Мы спрашиваем у вашей главной страницы код ответа — по одному запросу на краулера, с нашего сервера. Ничего не сохраняем.
Что означают коды
200 означает, что дверь открыта и краулер получил вашу страницу. 403 или 401 означает отказ, и для группы ИИ-поиска это решающее: документация OpenAI прямо говорит, что сайты, которые отказались от OAI-SearchBot, не будут показываться в ответах поиска ChatGPT. 429 означает, что вы ограничиваете частоту этому краулеру, и заканчивается это обычно так же.
5xx или таймаут — это не приговор. Это значит, что сервер не ответил именно на этот запрос, и честное прочтение здесь — попробовать ещё раз, а не делать выводы.
Три группы существуют потому, что блокировка ИИ — не одно решение. Отказать обучению моделей, но пустить ИИ-поиск — вполне последовательный и распространённый выбор. Отказать ИИ-поиску тоже выбор — просто он должен быть осознанным.
Если краулеру отказали
- 1
Сначала посмотрите robots.txt
Это единственное место, которым вы управляете напрямую. Запрет на имя краулера или сплошной запрет — самое простое объяснение и самое быстрое исправление.
- 2
Потом CDN и средства защиты
У Cloudflare и подобных сервисов есть свои переключатели ИИ-ботов, которые действуют выше robots.txt. Это и есть обычный виновник: robots.txt открыт настежь, а запрос просто не доходит.
- 3
Проверьте и страницы услуг
Мы спрашиваем главную. Правила часто отличаются глубже на сайте, поэтому повторите проверку на тех страницах, которые вы хотите видеть в цитатах.
- 4
Подтвердите логами сервера
Имя в User-Agent само по себе не доказывает ничего. Сверяйте запросы с диапазонами IP, которые публикуют вендоры, — это единственная версия проверки, которую нельзя подделать.
Вопросы об этой проверке
- Как узнать, заблокирован ли мой сайт для ChatGPT?
Запросите собственную страницу, представившись поисковым краулером OpenAI, и посмотрите на код ответа. 403 или 401 означает, что запрос отклонён, а документация OpenAI говорит, что сайты, которые отказались от OAI-SearchBot, не будут показываться в ответах поиска ChatGPT. 200 означает, что для этого запроса дверь была открыта. Этот инструмент делает ровно это сразу для шести краулеров; то же самое можно сделать одной командой curl.
- Почему robots.txt разрешает, а краулер всё равно получает 403?
Потому что robots.txt — это просьба, а не ворота. Всё, что стоит перед вашим сервером — CDN, фаервол, правило управления ботами, — может отказать краулеру ещё до того, как дело дойдёт до сайта, и у таких настроек часто есть свои переключатели ИИ-ботов, включённые по умолчанию. Это самая частая причина невидимой блокировки: файл открыт, а запрос не доходит.
- Является ли 200 доказательством, что ChatGPT видит мой сайт?
Нет. Имя краулера в заголовке User-Agent может написать кто угодно, поэтому 200 доказывает лишь то, что ваш сайт не отказывает запросам с таким именем. Серьёзная защита сверяет вместо этого IP-адрес. Чтобы подтвердить как следует, найдите в логах сервера запросы из диапазонов IP, которые публикуют вендоры. 200 здесь — хороший знак и точка отсчёта, а не доказательство.
- Стоит ли блокировать ИИ-краулеров?
Зависит от того, каких именно. Краулеры, питающие ИИ-поиск, решают, может ли ваш бизнес вообще появиться в ответах, поэтому их блокировка стоит вам видимости. Краулеры обучения — отдельное решение: отказ отдавать контент на обучение моделей ничего не меняет в том, цитируют ли вас, и немало компаний так и делают. Ошибка — заблокировать всех одним переключателем и не знать, какой из них был нужен.
- Вы сохраняете адрес, который я проверяю?
Нет. Проверка выполняется, когда вы нажимаете кнопку, результат показывается вам, и ничего об адресе не записывается и никуда не отправляется. Мы считаем, скольким краулерам отказали, без адреса, — чтобы понимать, полезен ли инструмент.
Получили 403 и не понимаете, откуда он?
Пришлите нам результат. За 30 минут найдём, какой именно слой отказывает краулеру — robots.txt, CDN или правило защиты — и скажем, что изменить. Бесплатно и без обязательств.
Как мы работаем с видимостью в ИИ-поиске