Джон Мюллер из Google ответил на вопрос о файле llms.txt, связанном с дублированием контента, заявив, что не имеет смысла рассматривать его как дублирующийся контент, но он также заявил, что, возможно, имеет смысл предпринять шаги для предотвращения индексации.

LLMs.txt

Llms.txt — это предложение по созданию нового стандарта формата контента, который крупные языковые модели могут использовать для извлечения основного контента веб-страницы, не обращаясь к другим данным, не относящимся к контенту, таким как реклама, навигация и всё остальное, что не является основным контентом. Он предоставляет веб-издателям возможность предоставлять тщательно отобранную версию наиболее важного контента в формате Markdown. Файл llms.txt находится в корневом каталоге веб-сайта (example.com/llms.txt).

Вопреки некоторым утверждениям о файле llms.txt, его назначение никоим образом не похоже на robots.txt. Цель robots.txt — управление поведением роботов, в то время как цель llms.txt — предоставление контента для больших языковых моделей.

Будет ли Google рассматривать Llms.txt как дублирующийся контент?

Кто-то на Bluesky спросил, может ли Google считать файл llms.txt дублирующимся контентом. Это хороший вопрос. Вполне возможно, что кто-то за пределами сайта разместит ссылку на llms.txt, и Google начнёт показывать этот контент вместо HTML-контента или в дополнение к нему.

Вот какой вопрос был задан :

«Будет ли Google считать файлы LLMs.txt дублирующимся контентом? Это кажется неуклюжим, учитывая, что Google знает, что это не так, и для чего они на самом деле предназначены.

Стоит ли добавлять заголовок «noindex» для llms.txt для Googlebot?»

Джон Мюллер из Google ответил:

«Это был бы дублированный контент только в том случае, если бы контент был таким же, как у HTML-страницы, что не имело бы смысла (если бы сам файл был полезен).

Тем не менее, использование noindex для него может иметь смысл, поскольку сайты могут ссылаться на него, и в противном случае он может быть проиндексирован, что было бы странно для пользователей.»

Noindex для Llms.txt

Использование заголовка noindex для файла llms.txt — хорошая идея, поскольку это предотвратит попадание контента в индекс Google. Использование robots.txt для блокировки Google не требуется, поскольку это лишь заблокирует сканирование файла, что не позволит Google увидеть noindex.