Что происходит при индексировании
После сканирования поисковая система анализирует основной текст, заголовки, изображения, ссылки, язык и технические сигналы страницы. Она определяет, является ли адрес самостоятельным материалом и какую версию следует считать основной.
Если страница подходит для индекса, система сохраняет сведения о ней. Это позволяет сопоставлять материал с запросами без повторного обхода всего интернета при каждом поиске.
Чем индексирование отличается от сканирования
Сканирование означает, что робот смог обратиться к URL и загрузить содержимое. Индексирование означает, что поисковая система обработала страницу и решила хранить её как возможный результат. Первое не гарантирует второе.
Почему страницу могут не индексировать
- на странице установлен
noindex; - система выбрала другой канонический адрес;
- содержимое дублирует уже известную страницу;
- сервер возвращает ошибку или нестабильный ответ;
- страница почти не содержит самостоятельной информации;
- поисковая система ещё не успела обработать изменения.
Даже соблюдение технических требований не обязывает поисковую систему включить URL в индекс.
Как проверить статус
Для Google используют проверку URL и отчёты об индексировании в Search Console. Дополнительно проверяют ответ сервера, метатеги для роботов, канонический адрес, внутренние ссылки и доступность основного текста.