Файл robots.txt — это текстовый файл, в котором содержаться инструкции для поисковых роботов, в частности каким роботам и какие страницы допускается сканировать, а какие нет.
- Где найти;
- Как создать;
- Как проверить.
Где можно найти файл robots.txt и как его создать или редактировать
Чтобы проверить файл robots.txt сайта, следует добавить к домену «/robots.txt», примеры:
https://24rek.ru/robots.txt
![](data:image/svg+xml,%3Csvg%20xmlns=%22</img><meta itemprop="width" content="1024"><meta itemprop="height" content="808"></span>https://serpstat.com/robots.txthttps://netpeak.net/robots.txt </p><h2>Как создать и редактировать robots.txt</h2><h3>Вручную</h3><p>Данный файл всегда можно найти, подключившись к FTP сайта или в файлом редакторе хостинг-провайдера в корневой папке сайта (как правило, public_html):</p><p><span itemprop="image" itemscope itemtype="https://schema.org/ImageObject"><img itemprop="url image" decoding="async" src="https://24rek.ru/wp-content/uploads/2021/07/v02cc2l0.png"></img><img width="748" height="811" src=)
Далее открываем сам файл и можно его редактировать.
![](data:image/svg+xml,%3Csvg%20xmlns=%22</img><meta itemprop="width" content="847"><meta itemprop="height" content="425"></span></p><p>Если его нет, то достаточно создать новый файл.</p><p><span itemprop="image" itemscope itemtype="https://schema.org/ImageObject"><img itemprop="url image" decoding="async" src="https://24rek.ru/wp-content/uploads/2021/07/d5lmpjkv.png"></img><img width="759" height="802" src=)
После вводим название документа и сохраняем.
![](data:image/svg+xml,%3Csvg%20xmlns=%22</img><meta itemprop="width" content="708"><meta itemprop="height" content="709"></span></p><h3>Через модули/дополнения/плагины</h3><p>Чтобы управлять данный файлом прямо в административной панели сайта следует установить дополнительный модуль:</p><ul><li>Для 1С-Битрикс;</li></ul><p>https://dev.1c-bitrix.ru/learning/course/?COURSE_ID=139&LESSON_ID=5814<span itemprop="image" itemscope itemtype="https://schema.org/ImageObject"><img itemprop="url image" decoding="async" src="https://24rek.ru/wp-content/uploads/2021/07/cdedc1d2.png"></img><img width="1024" height="733" src=)
- WordPress;
https://ru.wordpress.org/plugins/pc-robotstxt/
- Для Opencart;
https://opencartforum.com/files/file/5141-edit-robotstxt/
- Webasyst.
https://support.webasyst.ru/shop-script/149/shop-script-robots-txt/
Как проверить работу файла robots.txt
В Яндекс.Вебмастер
В Яндекс.Вебмастер в разделе «Инструменты→ Анализ robots.txt» можно увидеть используемый поисковиком свод правил и наличие ошибок в нем.
![](data:image/svg+xml,%3Csvg%20xmlns=%22</img><meta itemprop="width" content="1196"><meta itemprop="height" content="884"></span></p><p>Также можно скачать другие версии файла или просто ознакомиться с ними.</p><p><span itemprop="image" itemscope itemtype="https://schema.org/ImageObject"><img itemprop="url image" decoding="async" src="https://24rek.ru/wp-content/uploads/2021/07/hqya5n34.png"></img><img width="1008" height="788" src=)
Чуть ниже имеется инструмент, который дает возможно проверить сразу до 100 URL на возможность сканирования.
В нашем случае мы проверяем эти правила.
![](data:image/svg+xml,%3Csvg%20xmlns=%22</img><meta itemprop="width" content="1024"><meta itemprop="height" content="636"></span></p><p>Как видим из примера все работает нормально.</p><p><span itemprop="image" itemscope itemtype="https://schema.org/ImageObject"><img itemprop="url image" decoding="async" src="https://24rek.ru/wp-content/uploads/2021/07/5av31owd.png"></img><img width="1024" height="712" src=)
![](data:image/svg+xml,%3Csvg%20xmlns=%22</img><meta itemprop="width" content="1024"><meta itemprop="height" content="589"></span></p><p>Также если воспользоваться сервисом «Проверка ответа сервера» от Яндекса также будет указано, запрещен ли для сканирования документ при попытке обратиться к нему.</p><p><span itemprop="image" itemscope itemtype="https://schema.org/ImageObject"><img itemprop="url image" decoding="async" src="https://24rek.ru/wp-content/uploads/2021/07/vdcnqup0.png"></img><img width="1024" height="357" src=)
В Google Search Console
В случае с Google можно воспользоваться инструментом проверки Robots.txt, где потребуется в первую очередь выбрать нужный сайт.
![](data:image/svg+xml,%3Csvg%20xmlns=%22</img><meta itemprop="width" content="1024"><meta itemprop="height" content="438"></span></p><p><p><strong>Важно! </strong>Ресурсы-домены в этом случае выбирать нельзя.</p><p>Теперь мы видим:</p><ul><li>Сам файл;</li><li>Кнопку, открывающую его;</li><li>Симулятор для проверки сканирования.</li></ul><p><span itemprop="image" itemscope itemtype="https://schema.org/ImageObject"><img itemprop="url image" decoding="async" src="https://24rek.ru/wp-content/uploads/2021/07/ak54ba53.png"></img><img width="1024" height="558" src=)
Если в симуляторе ввести заблокированный URL, то можно увидеть правило, запрещающее сделать это и уведомление «Недоступен».
![](data:image/svg+xml,%3Csvg%20xmlns=%22</img><meta itemprop="width" content="1024"><meta itemprop="height" content="499"></span></p><p>Однако, если ввести заблокированный URL в страницу поиска в новой Google Search Console (или запросить ее индексирование), то можно увидеть, что страница заблокирована в файле robots.txt.</p><p><span itemprop="image" itemscope itemtype="https://schema.org/ImageObject"><img itemprop="url image" decoding="async" src="https://24rek.ru/wp-content/uploads/2021/07/l5acetsn.png"></img><img width="1024" height="646" src=)
Подписывайтесь на наш канал в Яндекс.Дзен
Подписывайтесь на наши социальные сети