Генератор robots.txt
Валидный robots.txt с правилами запрета и картой сайта
Об этом инструменте
Creates a correct robots.txt in seconds: allow everything, block everything, or fine-tune with custom disallow paths, crawl-delay and your sitemap URL.
Использовано сегодня
Guest тариф
0 / 3 runs today
Создайте бесплатный аккаунт для большего числа запусков:
Регистрация бесплатно Войти