01 / Контекст
Почему аудит 2026 года не похож на аудит 2022-го
Большинство чек-листов по техническому SEO, которые до сих пор ходят по рынку, писались под более простой краулер. С конца 2025 года Google заметно поменял правила, и аудит, который этого не учитывает, пропустит реальные проблемы.
- Новый дом документации. 20 ноября 2025 года Google перенёс документацию о сканировании из Search Central на отдельный сайт и с тех пор регулярно её дополняет. Журнал изменений этого раздела теперь обязателен к чтению для любого аудитора.
- Жёсткие лимиты загрузки. В посте блога Search Central от 31 марта 2026 года Гэри Иллиш прямо описал лимиты: Googlebot загружает до 2 МБ на URL для HTML и других файлов, кроме PDF, до 64 МБ для PDF, а краулеры без собственного лимита по умолчанию ограничены 15 МБ. Всё, что за границей, не рендерится и не индексируется.
- Больше user-agent. В марте 2026 года Google задокументировал
Google-Agent для ИИ-агентов, действующих по запросу пользователя, в мае добавил экспериментальную подпись запросов Web Bot Auth, а 17 ноября 2026 года опубликовал рекомендации, как пропускать Google-Agent на сайт.
Базу всё это не отменяет, но меняет порядок работы. Мы проводим аудит в той же последовательности, в какой Google обрабатывает сайт: можно ли загрузить страницу, можно ли её отрендерить, какой URL канонический и стоит ли он индекса. Каждый слой зависит от предыдущего, поэтому править заголовки на страницах, до которых Googlebot не добирается, бессмысленно.
Ниже чек-лист, по которому мы работаем на инженерных аудитах. Нужны доступ к Google Search Console, сырые логи сервера или CDN и краулер с рендерингом JavaScript. Если логов нет, это стоит честно указать в отчёте: без них аудит превращается в оценку, а не в диагноз.
02 / Сканирование и индекс
Начинайте с отчёта «Индексирование страниц», а не с краулера
Сторонний краулер показывает, что теоретически может пойти не так. Отчёт «Индексирование страниц» в Search Console показывает, что Google реально решил. Начинайте с него: выгрузите все причины и проверьте выборку URL из каждой группы через инструмент проверки URL, прежде чем делать выводы.
Причины, которые стоит развести сразу
- «Обнаружена, не проиндексирована»: Google знает об URL, но ещё не сканировал его. На больших сайтах это обычно вопрос спроса на сканирование или мощности сервера, а не качества страницы.
- «Просканирована, но пока не проиндексирована»: страницу загрузили и отложили. Типичные причины: тонкие или почти одинаковые шаблоны, фасетные URL, слабая внутренняя перелинковка.
- «Страница является копией, канонический вариант не выбран пользователем» и «Google выбрал не тот канонический вариант, что пользователь»: ваши сигналы канонизации противоречат друг другу или тому, что видит Google.
- Soft 404: ответ 200, который выглядит пустым или похож на ошибку. Проверьте товары не в наличии, пустой поиск и фильтры.
- Исключено тегом noindex, заблокировано в robots.txt, страница с переадресацией, не найдено (404): часто это нормально, но каждую группу нужно подтвердить как намеренную.
Отчёт строится на выборке и обновляется с задержкой, поэтому изменение за один день не тренд. Важна доля ценных URL в каждой группе. Несколько тысяч исключённых URL с параметрами это здоровая картина, несколько сотен исключённых карточек товара это уже потеря выручки.
Каждую группу привязывайте к шаблону. Проблемы индексации почти всегда шаблонные, и исправлять их нужно в коде, а не в таблице с отдельными адресами.
03 / Canonical и hreflang
Сигналы канонизации и языка должны совпадать
Google воспринимает rel=canonical как сильную подсказку, а не приказ. Тег взвешивается вместе с редиректами, внутренними ссылками, sitemap и схожестью контента. Если сигналы расходятся, Google выбирает канонический URL сам, и вы видите это в отчёте выше.
Проверка canonical
- У каждой индексируемой страницы один абсолютный canonical на саму себя прямо в HTML, который отдаёт сервер.
- После рендеринга canonical ровно один. Документация Google по JavaScript допускает его вставку скриптом, но не рекомендует её и предупреждает о конфликтующих тегах.
- Внутренние ссылки, sitemap и hreflang ведут на канонический URL, а не на редирект или вариант с параметрами.
- Страницы пагинации канонизируются на себя, а не на первую страницу.
Проверка hreflang
- Каждая языковая версия перечисляет все альтернативы, включая себя, и ссылки взаимны. Односторонние аннотации игнорируются.
- Коды языков по ISO 639-1, при необходимости с кодом региона по ISO 3166-1. Украинский это
uk; ua это код страны и частая ошибка. x-default закрывает пользователей, которым не подошла ни одна версия: обычно это выбор языка или основной рынок.- Цели hreflang отдают 200 и сами канонические. Ссылка на редирект или страницу с noindex ломает весь кластер.
Мультиязычные сайты чаще всего ломаются именно здесь, потому что переводом и разработкой владеют разные команды. Про процессную сторону мы писали в статье о локализации без трения.
04 / Sitemap и редиректы
Sitemap, редиректы и хост, который вы реально отдаёте
XML-карта сайта помогает находить URL, но не гарантирует индексацию. В 2023 году, отключая ping-эндпоинт для sitemap, Google сообщил, что не использует changefreq и priority, а lastmod учитывает, только если значение стабильно точное. Сборка, которая ставит сегодняшнюю дату на все URL, приучает Google игнорировать это поле.
Проверка sitemap
- Только канонические индексируемые URL с ответом 200. Без редиректов, noindex и дублей с параметрами.
lastmod меняется только при изменении основного контента.- Карты разбиты по шаблонам (товары, категории, статьи), чтобы фильтровать отчёт индексирования по каждой.
- Индексный файл sitemap указан в robots.txt и отправлен в Search Console.
Проверка редиректов и хоста
- Один основной хост.
http://, http://www. и неосновной вариант https:// приходят на финальный URL одним редиректом 301 или 308. - Политика по слешу в конце и регистру букв одинаковая и применяется на краю сети, а не наполовину в приложении и наполовину в CDN.
- Нет цепочек длиннее двух шагов и нет циклов. После каждой миграции пересканируйте старый список URL.
- Удалённые страницы отдают 404 или 410. Массовый редирект на главную обычно попадает в soft 404.
Логика хоста и редиректов часто живёт в трёх местах: в приложении, на веб-сервере и в CDN. Проверяйте все три. Когда мы перестраиваем платформы в рамках веб-разработки, эти правила первыми переносим в одно место.
05 / Рендеринг
Рендеринг JavaScript и потолок в 2 МБ
Google рендерит JavaScript, но рендеринг это отдельный этап со своими правилами. В декабре 2025 года Google обновил страницу об основах JavaScript SEO в трёх пунктах, которые должны быть в каждом аудите.
- noindex в исходном HTML побеждает. Увидев
noindex, Google может пропустить рендеринг, и скрипт, который позже удаляет тег, просто не выполнится. Если страница должна индексироваться, не отдавайте noindex в первоначальном HTML. - Страницы не с кодом 200 могут не рендериться. Ответы 200 отправляются на рендеринг, остальные могут туда не попасть. Страницы ошибок, где контент или сигналы зависят от JavaScript, ненадёжны.
- Canonical через JavaScript поддерживается, но не рекомендуется. Держите его в ответе сервера.
Бюджет в байтах
Лимит в 2 МБ кажется щедрым, пока не встретится фреймворк, встраивающий всё состояние в JSON, или конструктор, который сотни раз вставляет одни и те же SVG-иконки. Измерьте несжатый размер HTML самых тяжёлых шаблонов. Если важный контент, ссылки или микроразметка стоят в конце большого документа, поднимите их выше или облегчите страницу. Google оговаривает, что лимит может меняться, но сейчас всё за границей для Googlebot не существует.
Проверка рендеринга
- Сравните исходный и отрендеренный HTML в инструменте проверки URL для каждого ключевого шаблона.
- Основной контент, внутренние ссылки и данные товаров доступны без действий пользователя.
- Ссылки сделаны настоящими элементами
<a href>, а не обработчиками кликов. - JavaScript и CSS, нужные для рендеринга, не закрыты в robots.txt.
Тяжёлый рендеринг бьёт и по пользователям. Если шаблоны не только большие, но и медленные, посмотрите наш разбор Core Web Vitals для e-commerce.
06 / Логи и боты
Лог-файлы и проверка ботов
Только в логах видно, что краулеры действительно делали, а не то, как это пересказывает отчёт. Возьмите минимум 30 дней сырых логов доступа с origin и с CDN: край сети часто обслуживает запросы, которые до origin вообще не доходят.
Что извлечь
- Обращения Googlebot по шаблонам и кодам ответа. Большая доля 3xx, 4xx или 5xx означает впустую потраченное сканирование.
- Частоту сканирования денежных страниц в сравнении с параметрами, фильтрами и внутренним поиском.
- Время ответа на запросы краулеров. Медленный origin снижает объём, который Google готов сканировать.
- Ценные URL без единого визита краулера: обычно это сироты или страницы, зарытые слишком глубоко.
Сначала проверка, потом доверие user-agent
Строку user-agent Googlebot может прислать кто угодно. Проверяйте обратным DNS-запросом, который должен вернуть googlebot.com, google.com или googleusercontent.com, и прямым запросом, который возвращает тот же IP, либо сверяйте IP с опубликованными Google JSON-файлами диапазонов. В 2026 году эти файлы переехали в developers.google.com/crawling/ipranges/; старый путь пока работает, но автоматизацию файрвола, которая их скачивает, стоит обновить.
ИИ-трафик и агентов анализируйте отдельно. Google-Agent запускается по действию пользователя, поэтому живёт по другим правилам, чем Googlebot, и оценивать его нужно отдельно. Web Bot Auth, криптографическая подпись запросов краулеров, у Google пока в экспериментальной стадии.
Неподтверждённые боты под видом Googlebot это находка не только для SEO, но и для безопасности. Если за фальшивыми строками краулеров в логах видны парсинг или перебор паролей, это задача для аудита безопасности с правилами WAF, которые пропускают проверенных краулеров.
07 / CDN и on-page
Причуды CDN, перелинковка и длина title
CDN ускоряет сайт и при этом тихо создаёт SEO-шум. Самый известный пример это функция Email Address Obfuscation в Cloudflare. Когда она включена, Cloudflare переписывает адреса почты в HTML в ссылки на /cdn-cgi/l/email-protection, эндпоинт, который Cloudflare добавляет каждому проксируемому домену (см. документацию Cloudflare по /cdn-cgi/). Краулеры, переходящие по этим ссылкам, могут фиксировать 404 или soft 404 на URL, которые вы никогда не публиковали. Если функция не нужна, отключите её в разделе Scrape Shield. Если оставляете, следите, чтобы эти URL не попадали в sitemap и отчёты по ссылкам.
Ищите на краю сети и другие сюрпризы: проверки на ботов и лимиты, которые задевают подтверждённых краулеров, закешированные редиректы, пережившие миграцию, и функции переписывания HTML, меняющие разметку уже после вашего QA.
Внутренняя перелинковка
- Каждый индексируемый URL доступен по сканируемым ссылкам, в идеале в трёх-четырёх кликах от главной.
- Нет страниц-сирот: сравните краул с sitemap и посадочными страницами из аналитики.
- Анкор описывает цель. Основную работу делают навигация, хлебные крошки и блоки похожего контента.
Title и description
Документация Google не задаёт лимит символов для title и meta description: поисковик обрезает их под ширину экрана и может переписать. На практике мы держим title около 50–60 символов с ключевой фразой в начале и description примерно 120–160 символов, чтобы главное пережило обрезку. Дубли ищите по шаблонам, а не по одной странице. Если проблема в самих текстах, это задача контент-стратегии, а не техники.
Причины в отчёте индексирования: таблица разбора
Используйте её, чтобы превратить группы Search Console в инженерные задачи.
| Причина в GSC | Что обычно значит | Что проверить первым | Типичное решение |
|---|
| Обнаружена, не проиндексирована | Google ещё не сканировал URL | Время ответа сервера, визиты в логах, внутренние ссылки на URL | Быстрее origin, сильнее перелинковка, чистка малоценных URL |
| Просканирована, но пока не проиндексирована | Загружена, но признана не стоящей индекса | Уникальность шаблона, почти-дубли, отрендеренный контент | Объединить или усилить тонкие шаблоны; noindex для настоящих дублей |
| Google выбрал другой канонический вариант | Ваш canonical конфликтует с другими сигналами | Редиректы, внутренние ссылки, цели sitemap и hreflang | Свести все сигналы к одному URL |
| Soft 404 | Ответ 200, похожий на пустую страницу или ошибку | Товары не в наличии, пустые фильтры, массовые редиректы на главную | Отдавать 404/410 или добавить реальный контент |
| Заблокировано в robots.txt | Сканирование запрещено | Намеренно ли правило; закрытые JS и CSS | Исправить правило или использовать noindex, если цель удаление из индекса |
Названия причин даны близко к русскому интерфейсу Search Console. Перед действиями всегда проверяйте выборку URL в инструменте проверки URL.
Чек-лист технического SEO на одной странице
Идите по порядку: каждый шаг зависит от предыдущего.
- [+] Выгрузите все причины из отчёта индексирования и привяжите каждую группу к шаблону.
- [+] Убедитесь, что robots.txt не закрывает CSS и JavaScript, нужные для рендеринга.
- [+] Проверьте один canonical на себя в серверном HTML каждой индексируемой страницы.
- [+] Проверьте hreflang: взаимные ссылки, верные коды (uk, а не ua), x-default, цели с ответом 200.
- [+] Уберите из sitemap редиректы, noindex и URL с параметрами; держите lastmod честным.
- [+] Закрепите один хост и редиректы в один шаг для вариантов http, www и слеша.
- [+] Сравните исходный и отрендеренный HTML; не управляйте noindex и canonical через JavaScript.
- [+] Измерьте размер HTML тяжёлых шаблонов относительно лимита Googlebot в 2 МБ.
- [+] Разберите 30 дней логов origin и CDN по шаблонам и кодам ответа.
- [+] Проверяйте Googlebot обратным DNS или файлами диапазонов IP по новому пути /crawling/ipranges/.
- [+] Проверьте функции CDN: обфускацию почты, проверки ботов, кеш редиректов, переписывание HTML.
- [+] Найдите страницы-сироты и дубли title и description по шаблонам.