ПОСТ: Mission Reports
ВРЕМЯ: 11 мин
ОПУБЛИКОВАНО: 18.11.2026

Чек-лист технического SEO-аудита 2026: сканирование, индекс, рендеринг

Технический SEO-аудит 2026 года на практике: отчёт «Индексирование страниц», canonical и hreflang, sitemap, рендеринг JavaScript, логи, проверка ботов и ловушки CDN.

// ПОДЕЛИТЬСЯ_ОТЧЕТОМ
01 / Контекст

Почему аудит 2026 года не похож на аудит 2022-го

Большинство чек-листов по техническому SEO, которые до сих пор ходят по рынку, писались под более простой краулер. С конца 2025 года Google заметно поменял правила, и аудит, который этого не учитывает, пропустит реальные проблемы.

  • Новый дом документации. 20 ноября 2025 года Google перенёс документацию о сканировании из Search Central на отдельный сайт и с тех пор регулярно её дополняет. Журнал изменений этого раздела теперь обязателен к чтению для любого аудитора.
  • Жёсткие лимиты загрузки. В посте блога Search Central от 31 марта 2026 года Гэри Иллиш прямо описал лимиты: Googlebot загружает до 2 МБ на URL для HTML и других файлов, кроме PDF, до 64 МБ для PDF, а краулеры без собственного лимита по умолчанию ограничены 15 МБ. Всё, что за границей, не рендерится и не индексируется.
  • Больше user-agent. В марте 2026 года Google задокументировал Google-Agent для ИИ-агентов, действующих по запросу пользователя, в мае добавил экспериментальную подпись запросов Web Bot Auth, а 17 ноября 2026 года опубликовал рекомендации, как пропускать Google-Agent на сайт.

Базу всё это не отменяет, но меняет порядок работы. Мы проводим аудит в той же последовательности, в какой Google обрабатывает сайт: можно ли загрузить страницу, можно ли её отрендерить, какой URL канонический и стоит ли он индекса. Каждый слой зависит от предыдущего, поэтому править заголовки на страницах, до которых Googlebot не добирается, бессмысленно.

Ниже чек-лист, по которому мы работаем на инженерных аудитах. Нужны доступ к Google Search Console, сырые логи сервера или CDN и краулер с рендерингом JavaScript. Если логов нет, это стоит честно указать в отчёте: без них аудит превращается в оценку, а не в диагноз.

02 / Сканирование и индекс

Начинайте с отчёта «Индексирование страниц», а не с краулера

Сторонний краулер показывает, что теоретически может пойти не так. Отчёт «Индексирование страниц» в Search Console показывает, что Google реально решил. Начинайте с него: выгрузите все причины и проверьте выборку URL из каждой группы через инструмент проверки URL, прежде чем делать выводы.

Причины, которые стоит развести сразу

  • «Обнаружена, не проиндексирована»: Google знает об URL, но ещё не сканировал его. На больших сайтах это обычно вопрос спроса на сканирование или мощности сервера, а не качества страницы.
  • «Просканирована, но пока не проиндексирована»: страницу загрузили и отложили. Типичные причины: тонкие или почти одинаковые шаблоны, фасетные URL, слабая внутренняя перелинковка.
  • «Страница является копией, канонический вариант не выбран пользователем» и «Google выбрал не тот канонический вариант, что пользователь»: ваши сигналы канонизации противоречат друг другу или тому, что видит Google.
  • Soft 404: ответ 200, который выглядит пустым или похож на ошибку. Проверьте товары не в наличии, пустой поиск и фильтры.
  • Исключено тегом noindex, заблокировано в robots.txt, страница с переадресацией, не найдено (404): часто это нормально, но каждую группу нужно подтвердить как намеренную.

Отчёт строится на выборке и обновляется с задержкой, поэтому изменение за один день не тренд. Важна доля ценных URL в каждой группе. Несколько тысяч исключённых URL с параметрами это здоровая картина, несколько сотен исключённых карточек товара это уже потеря выручки.

Каждую группу привязывайте к шаблону. Проблемы индексации почти всегда шаблонные, и исправлять их нужно в коде, а не в таблице с отдельными адресами.

03 / Canonical и hreflang

Сигналы канонизации и языка должны совпадать

Google воспринимает rel=canonical как сильную подсказку, а не приказ. Тег взвешивается вместе с редиректами, внутренними ссылками, sitemap и схожестью контента. Если сигналы расходятся, Google выбирает канонический URL сам, и вы видите это в отчёте выше.

Проверка canonical

  • У каждой индексируемой страницы один абсолютный canonical на саму себя прямо в HTML, который отдаёт сервер.
  • После рендеринга canonical ровно один. Документация Google по JavaScript допускает его вставку скриптом, но не рекомендует её и предупреждает о конфликтующих тегах.
  • Внутренние ссылки, sitemap и hreflang ведут на канонический URL, а не на редирект или вариант с параметрами.
  • Страницы пагинации канонизируются на себя, а не на первую страницу.

Проверка hreflang

  • Каждая языковая версия перечисляет все альтернативы, включая себя, и ссылки взаимны. Односторонние аннотации игнорируются.
  • Коды языков по ISO 639-1, при необходимости с кодом региона по ISO 3166-1. Украинский это uk; ua это код страны и частая ошибка.
  • x-default закрывает пользователей, которым не подошла ни одна версия: обычно это выбор языка или основной рынок.
  • Цели hreflang отдают 200 и сами канонические. Ссылка на редирект или страницу с noindex ломает весь кластер.

Мультиязычные сайты чаще всего ломаются именно здесь, потому что переводом и разработкой владеют разные команды. Про процессную сторону мы писали в статье о локализации без трения.

04 / Sitemap и редиректы

Sitemap, редиректы и хост, который вы реально отдаёте

XML-карта сайта помогает находить URL, но не гарантирует индексацию. В 2023 году, отключая ping-эндпоинт для sitemap, Google сообщил, что не использует changefreq и priority, а lastmod учитывает, только если значение стабильно точное. Сборка, которая ставит сегодняшнюю дату на все URL, приучает Google игнорировать это поле.

Проверка sitemap

  • Только канонические индексируемые URL с ответом 200. Без редиректов, noindex и дублей с параметрами.
  • lastmod меняется только при изменении основного контента.
  • Карты разбиты по шаблонам (товары, категории, статьи), чтобы фильтровать отчёт индексирования по каждой.
  • Индексный файл sitemap указан в robots.txt и отправлен в Search Console.

Проверка редиректов и хоста

  • Один основной хост. http://, http://www. и неосновной вариант https:// приходят на финальный URL одним редиректом 301 или 308.
  • Политика по слешу в конце и регистру букв одинаковая и применяется на краю сети, а не наполовину в приложении и наполовину в CDN.
  • Нет цепочек длиннее двух шагов и нет циклов. После каждой миграции пересканируйте старый список URL.
  • Удалённые страницы отдают 404 или 410. Массовый редирект на главную обычно попадает в soft 404.

Логика хоста и редиректов часто живёт в трёх местах: в приложении, на веб-сервере и в CDN. Проверяйте все три. Когда мы перестраиваем платформы в рамках веб-разработки, эти правила первыми переносим в одно место.

05 / Рендеринг

Рендеринг JavaScript и потолок в 2 МБ

Google рендерит JavaScript, но рендеринг это отдельный этап со своими правилами. В декабре 2025 года Google обновил страницу об основах JavaScript SEO в трёх пунктах, которые должны быть в каждом аудите.

  • noindex в исходном HTML побеждает. Увидев noindex, Google может пропустить рендеринг, и скрипт, который позже удаляет тег, просто не выполнится. Если страница должна индексироваться, не отдавайте noindex в первоначальном HTML.
  • Страницы не с кодом 200 могут не рендериться. Ответы 200 отправляются на рендеринг, остальные могут туда не попасть. Страницы ошибок, где контент или сигналы зависят от JavaScript, ненадёжны.
  • Canonical через JavaScript поддерживается, но не рекомендуется. Держите его в ответе сервера.

Бюджет в байтах

Лимит в 2 МБ кажется щедрым, пока не встретится фреймворк, встраивающий всё состояние в JSON, или конструктор, который сотни раз вставляет одни и те же SVG-иконки. Измерьте несжатый размер HTML самых тяжёлых шаблонов. Если важный контент, ссылки или микроразметка стоят в конце большого документа, поднимите их выше или облегчите страницу. Google оговаривает, что лимит может меняться, но сейчас всё за границей для Googlebot не существует.

Проверка рендеринга

  • Сравните исходный и отрендеренный HTML в инструменте проверки URL для каждого ключевого шаблона.
  • Основной контент, внутренние ссылки и данные товаров доступны без действий пользователя.
  • Ссылки сделаны настоящими элементами <a href>, а не обработчиками кликов.
  • JavaScript и CSS, нужные для рендеринга, не закрыты в robots.txt.

Тяжёлый рендеринг бьёт и по пользователям. Если шаблоны не только большие, но и медленные, посмотрите наш разбор Core Web Vitals для e-commerce.

06 / Логи и боты

Лог-файлы и проверка ботов

Только в логах видно, что краулеры действительно делали, а не то, как это пересказывает отчёт. Возьмите минимум 30 дней сырых логов доступа с origin и с CDN: край сети часто обслуживает запросы, которые до origin вообще не доходят.

Что извлечь

  • Обращения Googlebot по шаблонам и кодам ответа. Большая доля 3xx, 4xx или 5xx означает впустую потраченное сканирование.
  • Частоту сканирования денежных страниц в сравнении с параметрами, фильтрами и внутренним поиском.
  • Время ответа на запросы краулеров. Медленный origin снижает объём, который Google готов сканировать.
  • Ценные URL без единого визита краулера: обычно это сироты или страницы, зарытые слишком глубоко.

Сначала проверка, потом доверие user-agent

Строку user-agent Googlebot может прислать кто угодно. Проверяйте обратным DNS-запросом, который должен вернуть googlebot.com, google.com или googleusercontent.com, и прямым запросом, который возвращает тот же IP, либо сверяйте IP с опубликованными Google JSON-файлами диапазонов. В 2026 году эти файлы переехали в developers.google.com/crawling/ipranges/; старый путь пока работает, но автоматизацию файрвола, которая их скачивает, стоит обновить.

ИИ-трафик и агентов анализируйте отдельно. Google-Agent запускается по действию пользователя, поэтому живёт по другим правилам, чем Googlebot, и оценивать его нужно отдельно. Web Bot Auth, криптографическая подпись запросов краулеров, у Google пока в экспериментальной стадии.

Неподтверждённые боты под видом Googlebot это находка не только для SEO, но и для безопасности. Если за фальшивыми строками краулеров в логах видны парсинг или перебор паролей, это задача для аудита безопасности с правилами WAF, которые пропускают проверенных краулеров.

Причины в отчёте индексирования: таблица разбора

Используйте её, чтобы превратить группы Search Console в инженерные задачи.

Причина в GSCЧто обычно значитЧто проверить первымТипичное решение
Обнаружена, не проиндексированаGoogle ещё не сканировал URLВремя ответа сервера, визиты в логах, внутренние ссылки на URLБыстрее origin, сильнее перелинковка, чистка малоценных URL
Просканирована, но пока не проиндексированаЗагружена, но признана не стоящей индексаУникальность шаблона, почти-дубли, отрендеренный контентОбъединить или усилить тонкие шаблоны; noindex для настоящих дублей
Google выбрал другой канонический вариантВаш canonical конфликтует с другими сигналамиРедиректы, внутренние ссылки, цели sitemap и hreflangСвести все сигналы к одному URL
Soft 404Ответ 200, похожий на пустую страницу или ошибкуТовары не в наличии, пустые фильтры, массовые редиректы на главнуюОтдавать 404/410 или добавить реальный контент
Заблокировано в robots.txtСканирование запрещеноНамеренно ли правило; закрытые JS и CSSИсправить правило или использовать noindex, если цель удаление из индекса

Названия причин даны близко к русскому интерфейсу Search Console. Перед действиями всегда проверяйте выборку URL в инструменте проверки URL.

Чек-лист технического SEO на одной странице

Идите по порядку: каждый шаг зависит от предыдущего.

  • [+] Выгрузите все причины из отчёта индексирования и привяжите каждую группу к шаблону.
  • [+] Убедитесь, что robots.txt не закрывает CSS и JavaScript, нужные для рендеринга.
  • [+] Проверьте один canonical на себя в серверном HTML каждой индексируемой страницы.
  • [+] Проверьте hreflang: взаимные ссылки, верные коды (uk, а не ua), x-default, цели с ответом 200.
  • [+] Уберите из sitemap редиректы, noindex и URL с параметрами; держите lastmod честным.
  • [+] Закрепите один хост и редиректы в один шаг для вариантов http, www и слеша.
  • [+] Сравните исходный и отрендеренный HTML; не управляйте noindex и canonical через JavaScript.
  • [+] Измерьте размер HTML тяжёлых шаблонов относительно лимита Googlebot в 2 МБ.
  • [+] Разберите 30 дней логов origin и CDN по шаблонам и кодам ответа.
  • [+] Проверяйте Googlebot обратным DNS или файлами диапазонов IP по новому пути /crawling/ipranges/.
  • [+] Проверьте функции CDN: обфускацию почты, проверки ботов, кеш редиректов, переписывание HTML.
  • [+] Найдите страницы-сироты и дубли title и description по шаблонам.

Технический SEO-аудит: частые вопросы

[01]

Как часто нужен технический SEO-аудит?

Полный аудит раз в год, а также до и после любой миграции, редизайна или смены платформы. Между аудитами ежемесячно смотрите отчёт индексирования и логи сервера, а на каждый крупный релиз запускайте автоматический краул. Большинство серьёзных технических проблем приходит вместе с деплоем, поэтому проверки, привязанные к релизам, ловят их раньше календаря.

[02]

Касается ли лимит Googlebot в 2 МБ большинства сайтов?

Большинство HTML-страниц намного меньше 2 МБ, так что для типичного сайта это не проблема. Лимит важен для шаблонов, которые встраивают крупный JSON со состоянием, много SVG или base64-картинок или очень длинные листинги. Измерьте несжатый HTML самых тяжёлых шаблонов. По словам Google, всё за границей не загружается, не рендерится и не индексируется.

[03]

Нужно ли исправлять каждый URL в группе «Просканирована, но не проиндексирована»?

Нет. Многие URL в этой группе и не должны быть в индексе: параметры, фильтры, тонкие страницы тегов. Возьмите выборку, отделите ценные URL от шума и действуйте на уровне шаблона. Ценные страницы делайте уникальнее и усиливайте ссылками. Шум перестаньте генерировать и ссылаться на него, вместо того чтобы просить Google его индексировать.

[04]

Безопасно ли блокировать фальшивый Googlebot?

Да, если сначала проверить. Используйте обратный и прямой DNS или опубликованные Google диапазоны IP и блокируйте только запросы, не прошедшие проверку. Никогда не блокируйте только по user-agent и не угадывайте диапазоны IP. Проверьте правила WAF живым тестом в инструменте проверки URL, чтобы настоящий Googlebot после изменений по-прежнему получал страницы.

[05]

Могут ли настройки Cloudflare вызвать SEO-ошибки?

Они создают шум, а иногда и реальные проблемы. Email Address Obfuscation генерирует ссылки /cdn-cgi/l/email-protection, которые краулеры могут показывать как 404 или soft 404. Защита от ботов может останавливать краулеров, а закешированные редиректы переживают миграцию. Отказываться от CDN из-за этого не нужно, но конфигурацию края сети стоит включать в каждый аудит.

Нужен аудит, который заканчивается задачами, а не слайдами?

Мы проверяем сканирование, рендеринг, логи и настройки CDN вместе и передаём исправления, которые ваши инженеры смогут сразу внедрить. Расскажите о своём стеке.

// EDITORIAL_ROUTE

Технический SEO-аудит 2026: пошаговый чек-лист | Git-Force