Генератор Robots.txt
Создайте файл robots.txt для вашего сайта. Управляйте доступом поисковых роботов и блокируйте ИИ-ботов.
⚠️ Введите URL (https://example.com)
🕷️ Правило
Часто блокируемые пути
Карты сайта
📄 robots.txt
💡 Загрузите этот файл в корень сайта: https://yoursite.com/robots.txt
О файле robots.txt
- • robots.txt сообщает поисковым роботам, какие части сайта они могут запрашивать.
- • Файл работает только в корне домена: https://example.com/robots.txt.
- • Disallow: / закрывает весь сайт; пустая директива Disallow: разрешает всё.
- • Запрет в robots.txt не удаляет адрес из результатов поиска — для этого нужен noindex или пароль.
- • ИИ-роботы вроде GPTBot и CCBot соблюдают robots.txt добровольно: файл — это просьба, а не замок.
- • В строке Sitemap: должен быть полный абсолютный адрес карты сайта.
Генератор Robots.txt
Наш бесплатный генератор Robots.txt поможет создать правильно отформатированный файл robots.txt.
Популярные
О генераторе Robots.txt
Генератор robots.txt собирает файл директив для поисковых роботов правило за правилом: выберите User-agent, добавьте пути Allow и Disallow, затем задайте Crawl-delay или один и более URL Sitemap. Флажки охватывают пути, которые сайты закрывают чаще всего, например /wp-admin/, /cart/ и /*.pdf$, а пресеты покрывают варианты «разрешить всё», «запретить всё», WordPress, интернет-магазин и блокировку ИИ-роботов вроде GPTBot, CCBot и anthropic-ai. Файл формируется в вашем браузере, его можно скопировать или скачать как robots.txt.
Примеры использования
Как использовать
Начните с готового пресета, если он подходит вашему сайту: «Разрешить всё», «Запретить всё», WordPress, «Блокировать AI-ботов» или «Интернет-магазин», а затем отредактируйте то, что получилось.
Укажите в поле «URL сайта» свой домен, например https://example.com, чтобы из него была построена строка с картой сайта.
В каждом правиле выберите робота в списке User-Agent, затем кнопками «+ Добавить Disallow» и «+ Добавить Allow» введите пути, например /admin/; новых роботов добавляйте кнопкой «+ Добавить правило User-Agent».
Отметьте нужные пункты в блоке «Часто закрываемые пути» и нажмите «Применить к правилу 1», а если хотите притормозить робота, задайте Crawl Delay в секундах.
В разделе «Карты сайта» оставьте включённым автодобавление /sitemap.xml или кнопкой «+ Добавить карту сайта» перечислите дополнительные адреса карт сайта.
Проверьте предпросмотр robots.txt справа, затем нажмите «Скачать» или «Копировать» и загрузите файл в корень своего домена.
Советы профессионалов
- Просто вставьте содержимое — генератор robots.txt распознаёт типичные форматы ввода и сам применяет разумные настройки по умолчанию.
- Пользуйтесь горячими клавишами (Ctrl/Cmd+A — выделить всё, Ctrl/Cmd+C — скопировать), чтобы работать в генераторе robots.txt быстрее.
- Очень большие объёмы данных лучше разбивать на части: вкладка браузера обычно справляется с мегабайтами текста, но разбор огромных массивов может ненадолго подвесить интерфейс.
- Генератор robots.txt не записывает и не хранит введённые вами данные. Если нужна история, сохраняйте важные результаты в локальный файл или в заметки.
- Сочетайте генератор robots.txt с другими инструментами сайта (форматировщиками, конвертерами, кодировщиками), чтобы выстраивать полные цепочки обработки данных, не покидая браузер.
Часто задаваемые вопросы
Да, полностью бесплатно: без регистрации, без API-ключа, без водяных знаков и без ограничений на использование.
Нет. Генератор robots.txt работает целиком на стороне клиента, в вашем браузере. Введённые данные не попадают на наши серверы.
Жёсткого предела нет, но на объёмах больше нескольких мегабайт возможны замедления — всё зависит от объёма памяти вашего устройства.
Да. Результаты, полученные в генераторе robots.txt, вы можете свободно использовать в любых личных и коммерческих проектах.
Основная логика выполняется на JavaScript в браузере, поэтому после первой загрузки страницы вы обычно можете продолжать работу без подключения к сети.
Нет. Генератор robots.txt работает в вашем браузере, поэтому вы можете обработать столько данных, сколько потянет ваше устройство, — без API-ключей и ограничений скорости.