автор: Jes Scholz
Вот руководство по всему, что вам нужно знать о создании и оптимизации XML-карт сайта, включая чек-лист лучших практик. По мере развития веба меняется и Google, и SEO.
Это означает, что то, что рассматривается как лучшая практика, часто находится в состоянии изменения. То, что могло считаться хорошим советом вчера, может быть не таковым сегодня.
Это особенно верно для карт сайта, которые почти такие же стары, как и сам SEO.
Проблема в том, что, когда каждый человек и его собака размещают ответы в форумах, публикуют рекомендации в блогах и усиливают мнения в социальных сетях, требуется время, чтобы отсортировать ценные советы от дезинформации.
Таким образом, хотя большинство из нас имеют общее понимание того, что представление карты сайта в Google Search Console важно, вы можете не знать деталей того, как их реализовывать так, чтобы они способствовали ключевым показателям эффективности SEO (KPI).
Давайте разъясним путаницу вокруг лучших практик для карт сайта сегодня.
В этой главе мы рассмотрим:
- Что такое XML-карта сайта
- Формат XML-карты сайта
- Типы карт сайта
- Оптимизация индексации XML-карты сайта
- Чек-лист лучших практик для XML-карты сайта
Что такое XML-карта сайта
Простыми словами, XML-карта сайта – это список URL-адресов вашего веб-сайта.
Эта карта действует как дорожная карта, сообщая поисковым системам, какой контент доступен и как к нему добраться.
На приведенном выше примере поисковый движок найдет все девять страниц в карте сайта с одним посещением файла XML-карты сайта.
На веб-сайте ему придется перейти через пять внутренних ссылок, чтобы найти страницу 9.
Эта способность XML-карты сайта помогать веб-краулерам в более быстрой индексации особенно важна для веб-сайтов, которые:
- Имеют тысячи страниц и/или глубокую структуру сайта.
- Часто добавляют новые страницы.
- Часто изменяют контент существующих страниц.
- Страдают от слабой внутренней перелинковки и одиночных страниц.
- Имеют слабый внешний профиль ссылок.
Важное замечание: Подача карты сайта с URL-адресами noindex также может ускорить деиндексацию. Это может быть более эффективным, чем удаление URL-адресов в Google Search Console, если их много для деиндексации. Но используйте это осторожно и удостоверьтесь, что вы добавляете такие URL-адреса временно в свои карты сайта.
Основной вывод:
Несмотря на то что поисковые системы технически могут находить ваши URL-адреса и без этого, включая страницы в XML-карту сайта, вы указываете, что считаете их качественными целевыми страницами.
Хотя нет гарантии, что XML-карта сайта приведет к индексации ваших страниц, не говоря уже о ранжировании, ее предоставление, безусловно, увеличивает ваши шансы.
Формат XML-карты сайта
У одностраничного сайта, использующего все доступные теги, XML-карта сайта будет выглядеть так:
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"
xmlns:xhtml="http://www.w3.org/1999/xhtml">
<url>
<loc>https://example.com/</loc>
<lastmod>2022-01-10T12:00:00+00:00</lastmod>
<changefreq>monthly</changefreq>
<priority>0.8</priority>
</url>
<!-- Дополнительные URL-адреса здесь -->
</urlset>
Но как использовать каждый из этих тегов в SEO? Все ли метаданные нужны?
Тег Loc (также известен как Тег Location)
Этот обязательный тег содержит абсолютную каноническую версию URL-адреса.
Он должен точно отражать протокол вашего сайта (http или https) и, если вы выбрали включение или исключение www.
Для многоязычных веб-сайтов здесь также можно реализовать обработку hreflang.
Используя атрибут xhtml:link для указания языковых и региональных вариантов для каждого URL, вы уменьшаете время загрузки страницы, что не предлагается другими реализациями элементов link в <head> или HTTP-заголовках.
Тег Lastmod (также известен как Тег Last Modified)
Этот необязательный, но настоятельно рекомендуемый тег используется для передачи даты и времени последнего изменения файла.
Джон Мюллер подтвердил, что Google использует метаданные lastmod, чтобы понять, когда в последний раз менялась страница и нужно ли ее краулить.
Это особенно важно для сайтов с контентом, так как это помогает Google понять, что вы являетесь первоисточником.
Тег Changefreq (также известен как Тег Change Frequency)
Когда-то этот необязательный тег подсказывал поисковым системам, насколько часто ожидается изменение контента на URL-адресе.
Но Мюллер заявил, что «частота изменений действительно не играет такой большой роли в картах сайта», и что «гораздо лучше просто указать метку времени напрямую».
Тег Priority
Этот необязательный тег предположительно сообщает поисковым системам, насколько важна страница по сравнению с другими вашими URL-адресами по шкале от 0.0 до 1.0.
Лучше всего это было всегда подсказкой поисковым системам, и как Мюллер, так и Ильес явно заявили, что они его игнорируют.
Основной вывод:
Вашему сайту нужна XML-карта сайта, но не обязательно метаданные приоритета и частоты изменений.
Используйте теги lastmod точно и сосредотачивайтесь на том, чтобы убедиться, что у вас представлены правильные URL-адреса.
Типы Карт сайта
Существует множество различных типов карт сайта. Давайте рассмотрим те, которые вам действительно нужны.
Индекс XML-карты сайта
У XML-карт сайта есть несколько ограничений:
- Максимум 50 000 URL-адресов.
- Некомпрессированный размер файла ограничен 50 МБ.
Карты сайта можно сжимать с использованием gzip (имя файла станет что-то вроде sitemap.xml.gz), чтобы сэкономить пропускную способность сервера. Однако после распаковки карта сайта по-прежнему не может превышать любого из этих пределов.
Когда вы превышаете любой из этих пределов, вам придется разбить URL-адреса по нескольким XML-картам сайта.
Эти карты могут быть объединены в единый индекс XML-карт сайта, часто названный sitemap-index.xml. По сути, карта сайта для карт сайта.
Для исключительно больших веб-сайтов, желающих подойти более детализированно, вы также можете создать несколько индексов карт сайта. Например:
- sitemap-index-articles.xml
- sitemap-index-products.xml
- sitemap-index-categories.xml
Но имейте в виду, что вы не можете вкладывать файлы индексов карт сайта друг в друга.
Чтобы поисковые системы легко находили каждый из ваших файлов карт одновременно, вы захотите:
- Предоставить свой индекс карт сайта(ов) в Google Search Console и Bing Webmaster Tools.
- Указать URL(ы) индекса карты сайта в файле robots.txt. Направлять поисковиков напрямую к вашей карте сайта при приветствии их краулинга.
Также вы можете отправлять карты сайта пингом в Google. Но будьте осторожны: Google больше не обращает внимания на записи hreflang в «неподтвержденных картах сайта», что, по мнению Тома Антони, означает те, которые были представлены через ping URL.
XML Карта изображений
Карты изображений были созданы для улучшения индексации содержимого изображений.
В современном SEO, однако, изображения встроены в контент страницы и будут обработаны вместе с URL страницы.
Более того, чтобы лучше индексировать изображения, рекомендуется использовать разметку JSON-LD schema.org/ImageObject, чтобы указать свойства изображения поисковым системам, поскольку она предоставляет больше атрибутов, чем XML-карта изображений.
Из-за этого XML-карта изображений не является обязательной для большинства веб-сайтов. Включение карты изображений только забирало бы краул-бюджет.
Исключением является случай, если изображения играют ключевую роль в вашем бизнесе, например, на веб-сайтах со стоковыми фотографиями или интернет-магазинах, получающих трафик на страницы продуктов из Google Image Search.
XML Видео Карта
Подобно изображениям, если видеоролики имеют стратегическое значение для вашего бизнеса, представьте XML-карту видео. В противном случае она не потребуется.
Экономьте свой краул-бюджет для страницы, в которую встроено видео, и убедитесь, что вы используете разметку JSON-LD как schema.org/VideoObject для всех видеороликов.
Google News XML-карта
Используйте эту карту только для сайтов, зарегистрированных в Google News.
Если ваш сайт включен, включите статьи, опубликованные за последние два дня, до предела в 1,000 URL на карту, и обновляйте ее свежими статьями сразу после публикации.
Вопреки некоторым советам в Интернете, XML-карты Google News не поддерживают URL изображений.
Google рекомендует использовать изображение schema.org или og:image для указания миниатюры статьи для Google News.
XML-карта для мобильных устройств
Она не нужна для большинства веб-сайтов.
Почему? Потому что Мюллер подтвердил, что XML-карты для мобильных устройств предназначены только для страниц на функциональных телефонах, а не для совместимости со смартфонами.
Так что, если у вас есть хороший пользовательский опыт и хорошие внутренние ссылки, вам ли нужна XML-карта для мобильных устройств?
HTML-карта сайта
XML-карты удовлетворяют потребности поисковых систем. HTML-карты сайта были созданы для помощи пользователям в поиске контента.
Вопрос заключается в том, если у вас есть хороший пользовательский опыт и качественные внутренние ссылки, нужна ли вам HTML-карта сайта?
Проверьте количество просмотров вашей HTML-карты сайта в Google Analytics. Вероятно, оно очень низкое. В противном случае это хороший сигнал того, что вам нужно улучшить навигацию на вашем сайте.
HTML-карты сайта обычно связаны с подвалами веб-сайтов, получая часть внутренних ссылок с каждой страницы вашего сайта.
Спросите себя: является ли это лучшим использованием ваших внутренних ссылок? Или вы включаете HTML-карту сайта как признание старых лучших практик веб-сайтов?
Если ею пользуется мало пользователей и поисковые системы не нуждаются в ней из-за качественных внутренних ссылок и XML-карты сайта, есть ли у HTML-карты сайта основание для существования? Я бы утверждал, что нет.
Динамическая XML-карта сайта
Статические карты сайта легко создавать с использованием инструментов, таких как Screaming Frog.
Однако проблема в том, что как только вы создадите или удалите страницу, ваша карта сайта устареет. Если вы измените содержимое страницы, тег lastmod в карте сайта не обновится автоматически.
Так что, если вам не нравится ручное создание и загрузка карт сайта при каждом изменении, лучше избегайте статических карт сайта.
С другой стороны, динамические XML-карты сайта автоматически обновляются вашим сервером для отражения актуальных изменений на сайте по мере их возникновения.
Чтобы создать динамическую XML-карту сайта:
- Попросите вашего разработчика написать сценарий на заказ, предоставив четкие технические требования.
- Используйте инструмент для динамической генерации карт сайта.
- Установите плагин для вашей CMS, например, плагин Yoast SEO для WordPress.
Основной вывод
Динамические XML-карты сайта и индекс карты сайта – это лучшие современные практики. Используйте карты сайта изображений, видео и Google News только в том случае, если улучшение индексации этих типов контента содействует достижению ваших ключевых показателей эффективности (KPI).
Оптимизация индексации с помощью XML-карт сайта
Теперь перейдем к увлекательной части. Как использовать XML-карты сайта для достижения ключевых показателей эффективности SEO?
Включайте в XML-карты сайта только те страницы, которые важны для SEO
XML-карта сайта – это список страниц, которые вы рекомендуете проиндексировать, и это не обязательно каждая страница вашего сайта.
Поисковый робот приходит на ваш сайт с "квотой" на количество страниц, которые он проиндексирует.
XML-карта сайта указывает, что включенные URL-адреса важнее тех, которые не заблокированы, но не включены в карту сайта.
Вы используете ее, чтобы сообщить поисковым системам: "Мне бы очень хотелось, чтобы вы сосредоточились на этих URL-адресах в частности."
По сути, это помогает вам эффективно использовать квоту прокрутки.
Исключите следующее:
- Не-канонические страницы.
- Дублирующие страницы.
- Постраничные страницы.
- URL-адреса на основе параметров или идентификатора сеанса.
- Страницы с результатами поиска по сайту.
- URL-адреса для ответов на комментарии.
- URL-адреса для отправки по электронной почте.
- URL-адреса, созданные фильтрацией и необходимые для SEO.
- Архивные страницы.
- Любые перенаправления (3xx), отсутствующие страницы (4xx) или страницы с ошибкой сервера (5xx).
- Страницы, заблокированные robots.txt.
- Страницы с мета-тегом noindex.
- Страницы с доступом через форму для генерации лидов (например, PDF с белой книгой).
- Служебные страницы, полезные для пользователей, но не предназначенные для посадочных страниц (страница входа, свяжитесь с нами, политика конфиденциальности, страницы аккаунта и т.д.).
Я хочу поделиться примером от Майкла Коттэма о приоритизации страниц:
Предположим, что на вашем сайте 1000 страниц. 475 из этих 1000 страниц – это содержание, важное для SEO. Вы выделяете эти 475 страниц в XML-карте сайта, фактически просим Google уменьшить приоритет индексации оставшихся.
Теперь допустим, Google индексирует эти 475 страниц и алгоритмически решает, что 175 из них – это "A" категории, 200 – "B+" и 100 – "B" или "B-". Это высокая средняя оценка, и, вероятно, указывает на качественный сайт, на который можно направить пользователей.
Сравните это с подачей всех 1000 страниц через XML-карту сайта. Теперь Google рассматривает 1000 страниц, которые, как вы говорите, содержат важное для SEO содержание, и видит, что более 50% из них – это страницы "D" или "F". Ваша средняя оценка больше не выглядит так хорошо, и это может навредить вашим органическим сессиям.
Но помните, Google будет использовать вашу XML-карту сайта только как подсказку к тому, что важно на вашем сайте.
Только потому, что это не в вашей XML-карте сайта, не обязательно означает, что Google не проиндексирует эти страницы.
Когда речь идет о SEO, общее качество сайта является ключевым фактором.
Чтобы оценить качество вашего сайта, обратитесь к отчетам о карте сайта в Google Search Console (GSC).
Основной вывод
Управляйте бюджетом прокрутки, ограничивая URL-адреса XML-карты сайта только SEO-релевантными страницами, и вкладывайте время в уменьшение количества низкокачественных страниц на вашем сайте.
Полностью используйте отчеты о карте сайта
Раздел карт сайта в новой Google Search Console не так богат на данными, как это было ранее.
Теперь его основное использование – подтвердить успешную отправку вашего индекса карт сайта.
Если вы выбрали использование описательных конвенций именования, а не числовых, вы также можете понять количество различных типов страниц SEO, которые были «обнаружены» – то есть все URL-адреса, найденные Google через карты сайта, а также другие методы, такие как следование ссылкам.
В новой GSC более ценной областью для SEO в отношении карт сайта является отчет о покрытии индекса.
Отчет будет отображаться по умолчанию как "Все известные страницы". Здесь вы можете:
- Решать любые проблемы "Ошибка" или "Действительно с предупреждениями". Эти проблемы часто возникают из-за конфликтующих директив robots.txt. Как только проблема решена, обязательно проверьте свою правку с помощью отчета о покрытии.
- Анализировать тенденции индексации. Большинство сайтов постоянно добавляют ценный контент, поэтому "Действительные" страницы (т.е. проиндексированные Google) должны стабильно увеличиваться. Понимайте причину любых резких изменений.
- Выбрать "Действительные" и подробно изучить тип "Индексировано, не представлено в карте сайта". Это страницы, на которых у вас и Google различные мнения о их значимости. Например, вы можете не отправить URL-адрес вашей политики конфиденциальности, но Google проиндексировал страницу. В таких случаях никаких действий не требуется. То, на что вам нужно обращать внимание, – это проиндексированные URL-адреса, которые возникают из-за неудачной обработки пагинации, неудачной обработки параметров, дублирования контента или случайно пропущенных страниц в картах сайта.
Затем ограничьте отчет только SEO-релевантными URL-адресами, которые вы добавили в свою карту сайта, изменив выпадающий список на «Все представленные страницы». Затем проверьте детали всех "Исключенных" страниц.
Причины исключения URL из карты сайта можно разделить на четыре группы действий:
- Быстрые победы: Для дублирующего контента, канонических ссылок, директив robots, HTTP-статусов 40X, переадресаций или юридических проблем внедрите соответствующие исправления.
- Исследование страницы: Для исключений "Предоставленный URL отброшен" и "Аномалия краула" исследуйте дополнительно с использованием инструмента Fetch as Google.
- Улучшение страницы: Для страниц, которые "Краулились, но в настоящее время не проиндексированы", просмотрите содержание страницы (или типа страниц, так как обычно это много URL-адресов схожего типа) и внутренние ссылки. Вероятно, она страдает от недостатка контента, неоригинального контента или является сиротой.
- Улучшение домена: Для страниц, которые "Обнаружены, но в настоящее время не проиндексированы", Google отмечает типичную причину исключения как "они попытались обойти URL, но сайт был перегружен". Не дайте себя обмануть. Скорее всего, Google решил, что "не стоит усилий" краулинга из-за плохой внутренней перелинковки или низкого качества контента, видимого с домена. Если вы видите большое количество таких исключений, пересмотрите SEO-ценность страницы (или типов страниц), которые вы отправили через карты сайта, сосредоточьтесь на оптимизации бюджета краула, а также пересмотрите свою информационную архитектуру, включая параметры, с точки зрения как ссылок, так и контента.
Каков бы ни был ваш план действий, не забудьте фиксировать ключевые показатели эффективности.
Самая полезная метрика для оценки влияния усилий по оптимизации карты сайта – это показатель индексации "Все предоставленные страницы" – рассчитывается как процент допустимых страниц от общего числа обнаруженных URL-адресов.
Стремитесь к превышению 80%.
Почему не 100%? Потому что, если вы сосредоточили всю свою энергию на том, чтобы убедиться, что каждый URL-адрес, который в настоящее время у вас есть, проиндексирован, вы вероятно упустили возможности расширить свой охват контента.
Примечание: Если вы являетесь крупным сайтом, который решил разбить свой сайт на несколько индексов карт сайта, вы сможете фильтровать их. Это не только позволит вам:
- Видеть обзорную диаграмму более детально.
- Видеть большее количество соответствующих примеров при расследовании типа исключения.
- Работать над оптимизацией показателя индексации секциями по отдельности.
Основной вывод
Помимо выявления предупреждений и ошибок, вы можете использовать отчет о покрытии индекса в качестве инструмента для расследования проблем с индексацией карты сайта.
Чеклист лучших практик для XML-карты сайта:
Инвестируйте время в:
- ✓ Включение тегов hreflang в XML-карты сайта
- ✓ Использование тегов <loc> и <lastmod>
- ✓ Сжатие файлов карты сайта с использованием gzip
- ✓ Использование файла индекса карты сайта
- ✓ Использование карты сайта изображений, видео и новостей Google только в том случае, если индексация влияет на ваши KPI
- ✓ Динамическое создание XML-карт сайта
- ✓ Убеждение, что URL-адреса включены только в одну карту сайта
- ✓ Ссылка на URL-адреса карты сайта в файле robots.txt
- ✓ Представление карты сайта индекса в Google Search Console и Bing Webmaster Tools
- ✓ Включение в XML-карты сайта только SEO-релевантных страниц
- ✓ Исправление всех ошибок и предупреждений
- ✓ Анализ трендов и типов допустимых страниц
- ✓ Расчет показателей индексации предоставленных страниц
- ✓ Решение причин исключения для предоставленных страниц
Теперь проверьте свою собственную карту сайта и убедитесь, что все делаете правильно.