Что такое LLMs.txt?
Файл llms.txt – это предлагаемый стандарт, который помогает большим языковым моделям (LLM) лучше понимать и использовать контент сайтов.
Суть спецификации такова: современные языковые модели все чаще используют информацию с сайтов, но сталкиваются с ограничением – окна контекста слишком малы, чтобы охватить весь сайт целиком. Преобразование сложных HTML-страниц с навигацией, рекламой и JavaScript в простой текст, удобный для LLM, сложно и неточно. В то время как сайты обслуживают как людей, так и AI, последние выигрывают от аккуратно собранной экспертной информации в одном месте.
Идея проста: вместо того чтобы позволять AI-краулерам "бродить" по сайту, вы даете им список самых важных страниц. LLMs.txt сообщает AI, на какой контент сайта стоит обращать внимание.
Как и файлы robots.txt и sitemaps, llms.txt помогает навигации по сайту, но с ориентацией на AI, который может использовать ваш контент для ответов пользователям или генерации материалов.
Какую проблему решает LLMs.txt?
LLMs.txt помогает AI-краулерам эффективнее изучать сайты. На данный момент они сталкиваются с двумя основными трудностями:
- Сложность современных сайтов: большинство AI-краулеров читают только базовый HTML, а динамический контент через JavaScript остаётся недоступным. LLMs.txt предоставляет структурированный формат, упрощающий восприятие информации.
- Избыток информации: AI-краулеры не всегда знают, что важно. Они могут собирать устаревшие или нерелевантные страницы, создавая ответы на основе неактуальной информации. LLMs.txt решает эту проблему.
Кроме того, это помогает сократить вычислительные ресурсы при обучении LLM, так как AI не тратит время на лишний контент.
Как структурируются файлы LLMs.txt?
Файлы должны быть оформлены в Markdown – легковесном языке разметки, легко читаемом AI:
- # для заголовков H1, ## для H2, ### для H3 и так далее
- > для цитат и выделений
- - или * для маркеров списков
- [текст](ссылка) для ссылок
- : для добавления описаний рядом с ссылками
- ``` для блоков кода
Пример простой структуры:
# Название компании > Краткое описание компании ## Продукты - [Продукт 1](https://example.com/product-1): Описание продукта - [Продукт 2](https://example.com/product-2): Описание продукта ## Документация - [Начало работы](https://example.com/docs/getting-started): Введение в платформу - [API](https://example.com/api): Полная документация API
Используют ли компании стандарт LLMs.txt?
Да, некоторые SaaS и компании для разработчиков уже публикуют файлы llms.txt, но это пока нишевое решение. По данным NerdyData, в июле 2025 года всего 951 домен использовал llms.txt.
Примеры:
- Hugging Face: подробная документация, много уровней заголовков, примеры кода.
- Vercel: описательные строки сверху файла, структурированные заголовки, пошаговые инструкции и код.
- Zapier: минимальная структура, список ссылок с описаниями.
- Cal.com: длинный список ссылок без разделения на разделы.
Стоит ли использовать LLMs.txt?
Сейчас это вряд ли принесёт ощутимую пользу, кроме экспериментов. Ни OpenAI, ни Google, ни Anthropic официально не используют этот файл при краулинге сайтов. Даже Джон Мюллер из Google подтвердил: "На данный момент ни одна AI-система не использует llms.txt".
Однако есть интересные сигналы – например, Anthropic опубликовали собственный файл, что говорит о потенциальной открытости к использованию стандарта в будущем.
Как создать LLMs.txt: пошагово
- Выберите контент для выделения
Определите страницы или разделы, которые хотите подчеркнуть для AI:
- Страницы продуктов или услуг
- Актуальные статьи блога
- Страница с ценами
- Страница "О компании"
- Контакты
- Создайте файл
Используйте текстовый редактор (Notepad, VS Code) и создайте llms.txt с разметкой Markdown. Пример структуры:
# Название сайта > Краткое описание сайта ## Продукты - [Продукт 1](https://example.com/product-1): Основная функция и польза ## Блог - [Статья 1](https://example.com/blog-post-1): Краткое описание и полезность ## Компания - [О нас](https://example.com/about) - [Контакты](https://example.com/contact) - [Цены](https://example.com/pricing)
- Загрузите файл на сайт
Разместите его в корневой директории, если он охватывает весь сайт:
https://вашдомен.com/llms.txt. Если это документация – в соответствующем подкаталоге. Для загрузки обычно используют cPanel или другой файловый менеджер хостинга.Не забывайте регулярно обновлять файл, удаляя устаревшие ссылки и добавляя новые материалы.