Содержание

• Очистка «crawl waste»: что я сделал
• Как отреагировали AI-поисковые платформы
• Выводы – и планирование быстрых побед

Очистка «crawl waste» подняла видимость в AI-поиске до 10% в отдельных случаях – при этом был небольшой спад в ChatGPT. Исправления sitemap и упрощение информационной архитектуры (IA) дали эффект.

Что такое «crawl waste» и почему это опасно

«Crawl waste» – это засорение области, доступной для краулинга, множеством неиндексируемых или низкокачественных страниц. Такие страницы расходуют ресурсы поисковых роботов и мешают системам – в том числе AI-поиску – находить и учитывать действительно ценный, авторитетный контент.

Я регулярно сталкиваюсь с этим в проектах моего агентства: уменьшение числа неиндексируемых страниц и акцент на качественных материалах неизменно помогает в традиционных результатах поиска. Но как это влияет на видимость в AI-поиске и отличаются ли реакции разных платформ? Ниже – мой кейс и выводы.

Очистка «crawl waste»: что я сделал

Правило простое: в sitemap должны попадать только канонические версии страниц, которые вы действительно хотите индексировать.

У клиента в нише ухода за детьми сайт имел ~2 000 индексированных страниц и примерно 45 000 страниц, которые не индексировались. Среди них было около 4 000 дубликатов и перенаправляемых URL, ошибочно указанных в sitemap. Кроме того, на сайте присутствовали низкокачественные каталожные/директорные страницы, что в сумме давало плохое состояние для индексации.

Я оптимизировал sitemap и стратегию индексирования: сократил число дублирующих и перенаправляемых URL в sitemap с более чем 4 000 до менее чем 200. Эта чистка повысила эффективность краулинга – поисковики и AI-системы стали фокусироваться на высококачественном, релевантном контенте клиента.

Как отреагировали AI-поисковые платформы

Я измерял изменения видимости с помощью Profound – считаю видимость как отношение числа появлений бренда в результатах промптов к общему числу релевантных промптов.

• В целом инициатива увеличила видимость по всем AI-платформам – до 10% в отдельных случаях.
• Общая видимость превысила 90% на Perplexity, AI Mode, AI Overviews, Gemini, Grok и Meta AI.
• Исключение – ChatGPT: там видимость упала на 4,1%. Моя гипотеза – ChatGPT медленнее учитывает крупные изменения в индексации и технической структуре сайта, если у пользователей не включён доступ в веб/броузинг; в то время как такие адаптеры, как Perplexity и инструменты Google, реагируют быстрее.
• Несмотря на спад в ChatGPT, суммарная видимость выросла на 3,5% – хоть и не шокирующее изменение, но это положительная динамика, позволяющая опережать конкурентов.
• В Gemini прирост был достаточен, чтобы клиент обошёл конкурента, который стабильно лидировал ранее.

Выводы – и планирование быстрых побед

Этот кейс – не окончательный вердикт, но он даёт конкретные, применимые шаги и быстрые «победы» для других проектов:

• Измеряйте эффект AI-инициатив, даже если они выстроены на традиционных SEO-практиках.
• Всё, что упрощает обнаружение вашего лучшего контента для поисковых платформ (AI и классических), – приоритетно.
• Ясная структура URL и интуитивная информационная архитектура (IA) помогают обнаружению на разных платформах.
• Если нужен модель IA – создайте крупный «пиллар» по теме, наполните его авторитетным контентом и продвигайте ссылки на него внутри сайта и на внешних ресурсах, которые любят LLM (включая Reddit).
• Не предполагаете, что все AI-платформы ведут себя одинаково – ищите различия (например, между ChatGPT и Google AI) и готовьте A/B-или 2.0-анализы для приоритизации платформ.
• Всегда стремитесь к подтверждению результатов за пределами одного теста или кейса – первые выводы важны, но требуют дополнительной валидации.

Если кратко: избавление от «crawl waste», корректный sitemap и понятная IA дают реальные преимущества в видимости для AI-поиска. Этот кейс – хороший первый шаг, который стоит масштабировать и проверять на других сайтах.