Генератор robots.txt
Контролируйте, что могут сканировать поисковики.
Бесплатный инструментБез регистрацииБезопасно и приватноРаботает на всех устройствах
User-agent: * Disallow: /admin/ Disallow: /api/ Sitemap: https://example.com/sitemap.xml
Save this as robots.txt in your website's root directory (e.g. yoursite.com/robots.txt).
Как использовать
1
Загрузите файлПеретащите или выберите файл
2
Настройте параметрыВыберите формат и настройки
3
Скачайте результатПолучите готовый файл мгновенно