IndexNow вернул 200, а статьи нет в поиске: как проверить обход Яндексом и Bing

IndexNow принял уведомление, но страницы нет в поиске. Разбираем ответы API, логи Nginx, проверку роботов и статусы Вебмастера, чтобы отличить отправку от обхода и индексации.

IndexNow вернул 200, а статьи нет в поиске: как проверить обход Яндексом и Bing

Вы отправили новый адрес через IndexNow, получили HTTP 200 и открыли поиск. Статьи нет. Повторная отправка тоже заканчивается успешно, но ясности не прибавляет: поисковик принял уведомление, робот не смог открыть сайт или страницу уже прочитали и решили не показывать?

Разобраться помогает цепочка из трёх событий: отправка уведомления, загрузка страницы роботом и включение в поисковый индекс. Для каждого нужны свои доказательства. Ни успешный curl, ни строчка с YandexBot в журнале не подтверждают всю цепочку сразу.

Что на самом деле означает ответ IndexNow

Запрос к IndexNow и запрос робота к статье идут на разные серверы. Сначала ваш скрипт обращается к сервису уведомлений. Позже робот может обратиться к вашему сайту. Поэтому два ответа HTTP 200 описывают разные события.

Где получен ответЧто произошлоЧего он не доказывает
От сервиса IndexNowУведомление принятоРобот уже загрузил статью
От вашего сайтаСервер успешно обработал запросАдрес включён в поисковый индекс

У ответа IndexNow 202 отдельный смысл: запрос получен, проверка ключа ещё выполняется. Коды 403 и 422 указывают на проблемы проверки владения сайтом или параметров запроса; 429 означает ограничение частоты. Полная расшифровка есть в спецификации IndexNow.

Для проверки ключа сервису может понадобиться загрузить текстовый файл на сайте. Запрос к /{ключ}.txt подтверждает обращение к файлу ключа, а не обход статьи. И наоборот: если робот уже знал адрес страницы, он мог прийти независимо от последнего уведомления.

Шаг 1. Проверьте адрес, который отправляете

Начните с обычного GET-запроса к статье:

URL='https://example.com/article/new-page'

curl --silent --show-error \
 --dump-header /tmp/article-headers.txt \
 --output /tmp/article.html \
 --connect-timeout 10 \
 --max-time 20 \
 --write-out 'HTTP %{http_code}\n' \
 "$URL"

Замените пример своим адресом. Если команда вернула 301 или 302, посмотрите заголовок Location: возможно, отправлять нужно уже другой URL. Если получен 404, сначала разберитесь с маршрутом. При 5xx проверьте приложение и прокси.

Параметр --location здесь намеренно отсутствует: он скрыл бы первый редирект за успешным ответом конечной страницы. HEAD-запрос тоже не заменяет эту проверку: обработка HEAD и GET в приложении может различаться.

В сохранённом HTML найдите:

  • текст статьи, а не только оболочку приложения;
  • rel="canonical" и адрес, на который он указывает;
  • директивы robots, особенно noindex;
  • неожиданный экран входа, проверку браузера или сообщение об ошибке.

Проверьте также X-Robots-Tag в /tmp/article-headers.txt. О правилах robots.txt и разрешении обхода судят отдельно: присутствие index,follow в HTML не отменяет другие ограничения.

Если в браузере всё видно, а в исходном ответе текста нет, пригодится отдельный разбор проверки HTML вместо браузера.

Шаг 2. Отправьте уведомление и запишите время

Для одного URL можно использовать GET. Пример для Bing:

URL='https://example.com/article/new-page'
KEY='your-indexnow-key'

curl --get 'https://www.bing.com/indexnow' \
 --data-urlencode "url=$URL" \
 --data-urlencode "key=$KEY" \
 --connect-timeout 10 \
 --max-time 20 \
 --write-out '\nHTTP %{http_code}\n'

Подставьте свой публичный URL и действующий ключ. Для стандартного расположения на сайте должен быть доступен файл https://example.com/your-indexnow-key.txt, содержащий этот ключ. Для другого размещения используется параметр keyLocation.

Сохраните URL, время отправки с часовым поясом, полученный HTTP-статус и ошибку, если ответа не было. Запись «отправили сегодня» бесполезна, когда нужно понять, какой визит произошёл до обновления статьи, а какой после.

Одновременно отправлять один адрес всем участникам IndexNow обычно незачем: они обмениваются уведомлениями. Каждый поисковик при этом самостоятельно решает, обходить ли URL и включать ли его в индекс.

Шаг 3. Найдите запрос именно к статье

Журнал нужен на той точке инфраструктуры, через которую проходит запрос посетителя. На простом VPS это обычно Nginx перед приложением. За CDN или дополнительным прокси могут понадобиться и его журналы.

Для ручной проверки достаточно строки, в которой есть время, URL, метод, HTTP-статус, User-Agent и IP. JSONL удобен тем, что каждая строка остаётся отдельным объектом.

Ниже минимальный пример формата. log_format задаётся в секции http:

log_format crawl_json escape=json
 '{"timestamp":"$time_iso8601",'
 '"ip":"$remote_addr",'
 '"host":"$host",'
 '"url":"$request_uri",'
 '"method":"$request_method",'
 '"status":$status,'
 '"user_agent":"$http_user_agent"}';

В нужном server подключите отдельный журнал:

access_log /var/log/nginx/crawl.jsonl crawl_json;

Этот пример записывает все запросы к выбранному серверу. Продумайте ротацию и размер журнала. Если общий access log уже используется, сохраните его явно: настройка дополнительных журналов и их наследование зависят от уровня конфигурации. Синтаксис и правила описаны в документации Nginx.

Чтобы читать только новые строки:

tail -n 0 -F /var/log/nginx/crawl.jsonl

Чтобы посмотреть уже записанные обращения к конкретному пути:

grep -F '/article/new-page' /var/log/nginx/crawl.jsonl

Поиск по подстроке покажет и похожие адреса, например /article/new-page/next. Для точного отбора JSONL можно использовать Python:

python3 - <<'PY'
import json

path = '/article/new-page'
with open('/var/log/nginx/crawl.jsonl', encoding='utf-8') as stream:
 for line in stream:
 event = json.loads(line)
 if event.get('url') == path:
 print(event)
PY

Сравнивайте время события со временем обновления страницы. Учитывайте часовой пояс в записи, параметры URL и возможный редирект на canonical.

Открытый после отправки tail -n 0 не покажет визит, который уже случился. Отсутствие строки в окне терминала ещё не означает отсутствие строки в файле. После ротации проверяйте также предыдущие журналы.

Шаг 4. Убедитесь, что это настоящий робот

User-Agent можно указать в любом HTTP-запросе. Поэтому подпись bingbot/2.0 сама по себе ничего не говорит о владельце IP.

Для Bing проверка строится так: обратное DNS-имя адреса должно оканчиваться на .search.msn.com, а прямое разрешение этого имени должно вернуть исходный IP. Это правило Microsoft. Для Google используйте соответствующие категории роботов, DNS-маски или опубликованные диапазоны из официальной инструкции.

У Яндекса также проверяют обратное и прямое разрешение имени. Границы домена важны: spider.yandex.com.example.org не принадлежит домену yandex.com. Порядок проверки приведён в справке Яндекс Вебмастера.

Если Nginx пишет 127.0.0.1, вы видите внутренний прокси. Проверить поискового робота по этому адресу нельзя. Сначала восстановите передачу настоящего клиентского IP в вашей схеме: через доверенные заголовки HTTP либо PROXY protocol, если его поддерживают обе стороны соединения.

Не подставляйте входящий X-Forwarded-For в качестве достоверного IP без ограничения доверенных отправителей. Настройка зависит от топологии; универсальная строка real_ip_header здесь не поможет. Разрешённые источники задаются через set_real_ip_from, как описано в модуле realip.

Результат проверки полезно хранить явно: «подтверждён», «не подтверждён» и причина. Сбой DNS означает, что проверка не завершилась, а не что запрос обязательно поддельный.

Как не перепутать обход статьи с загрузкой ресурсов

Робот может запросить robots.txt, карту сайта, JavaScript и API, не загрузив нужную статью. Оставляйте эти события в диагностике, но не подменяйте ими визит к её адресу.

Для правила «текущую версию прочитали» я бы использовал четыре условия:

  1. Подтверждён основной робот нужного поисковика.
  2. Это GET-запрос к самой странице.
  3. Получен успешный ответ с содержимым; в простом варианте учёта — HTTP 2xx.
  4. Визит произошёл после изменения публичного содержимого.

Это предложенное правило мониторинга, а не требование IndexNow. Например, 304 может быть нормальным ответом на условный запрос, но из него нельзя заключить, что сервер заново передал полный документ. Редиректы и ответы с ошибками тоже стоит учитывать отдельно.

На Recipenest 6 ноября 2026 года журнал показал 17 успешных визитов Яндекса к рубрикам, тегам и страницам авторов. Они появились около 16:03–16:04 по времени UTC+7. В учёте отправок визиты отразились после автоматического импорта около 16:09. Пока импортер не сработал, интерфейс ещё показывал ожидание. Причина задержки была в учёте событий, а не в отсутствии запросов к сайту.

Все эти визиты относились к текущим версиям страниц и имели подтверждённый IP. Для Bing таких визитов к тем же страницам на момент проверки не было. Поэтому полезно хранить состояние каждого поисковика отдельно.

Когда смотреть Вебмастер и Search Console

Когда подтверждённый визит уже есть, повторная проверка curl не ответит на вопрос «почему страницы нет в поиске». Переходите к данным поисковика: статусу URL, выбранному canonical, ограничениям и причинам исключения.

В Яндекс Вебмастере статус «Заявка обработана» в переобходе означает посещение страницы, но не гарантирует её появление в выдаче. Это прямо указано в справке инструмента.

Для Google используйте проверку URL в Search Console. Для небольшого количества страниц доступен ручной запрос индексирования; для большого числа адресов Google рекомендует sitemap. Повторные запросы одного URL не ускоряют обход. Ограничения и порядок действий — в документации Search Central.

Запрос site:адрес удобен как быстрая ручная проверка. Но если результата нет, одного этого наблюдения недостаточно, чтобы установить причину. Сопоставьте его со статусом URL в инструменте владельца сайта.

Что означает визит ИИ-бота

Здесь тоже нужен точный User-Agent. По официальной документации OpenAI, OAI-SearchBot относится к поиску, GPTBot — к возможному использованию данных для обучения, а ChatGPT-User — к действиям, инициированным пользователем. Последний не является сигналом включения сайта в поиск ChatGPT.

Поэтому строку «приходил ИИ» лучше заменить названием конкретного робота. Даже подтверждённый запрос не доказывает, что статья появилась в ответе модели. Для проверки IP у этих роботов опубликованы отдельные списки диапазонов; нельзя считать весь трафик из одного облака подтверждённым.

Полезный минимум в панели: название бота, последнее время визита, URL, статус ответа и результат проверки IP. «Цитируется в ответах ИИ» — другая метрика, её нельзя получить из access log.

Что хранить, чтобы не отправлять неизменившиеся страницы бесконечно

Для каждой страницы сохраните отпечаток публичного содержимого, дату его изменения, последние отправки и подтверждённые визиты. В отпечаток не должны попадать внутренние заметки редакции и счётчики просмотров.

Если робот прочитал нужную версию, дальнейшие прямые отправки этому поисковику можно прекращать. После изменения текста, заголовка или других значимых публичных данных начинается новый цикл. Визит Яндекса не заменяет визит Bing.

Частые повторы неизменившегося URL не стоит превращать в способ «давления» на поисковик: IndexNow рекомендует уведомлять об изменениях, а не постоянно пересылать один адрес. Если делаете ограниченные повторы при ожидании робота, храните их причины, соблюдайте лимиты и оставляйте возможность паузы. Рекомендации по отправкам собраны в FAQ IndexNow.

При разборе конкретного URL достаточно ответить на три вопроса: уведомление принято, нужную версию загрузил подтверждённый робот, поисковик включил адрес в индекс? Тогда видно, на каком шаге остановиться и что проверять дальше.

FAQ

Источники

  1. IndexNow: протокол и ответы API
  2. IndexNow: отправки, обмен уведомлениями и ограничения
  3. Nginx: формат и настройка access log
  4. Nginx: восстановление реального IP
  5. Microsoft: проверка Bingbot
  6. Яндекс: проверка поисковых роботов
  7. Яндекс: переобход страниц
  8. Google: проверка роботов
  9. Google: запрос повторного обхода
Оценка статьи

Материал был полезен?

1 прочитали

Следующая статья