Файл robots.txt — это текстовый файл, в котором содержаться инструкции для поисковых роботов, в частности каким роботам и какие страницы допускается сканировать, а какие нет.
- Инструкция;
- Как найти;
- Как создать.
Как открыть сайт для индексации
Директива Allow указывает на то, что роботу можно сканировать содержимое страницы/раздела, как правило, используется, когда в полностью закрытом разделе, нужно дать доступ к определенному документу.
Пример #1
# Дает возможность роботу скачать файл site.ru//feed/turbo/ несмотря на то, что скрыт раздел site.ru/feed/.
Disallow: */feed/*
Allow: /feed/turbo/
![](data:image/svg+xml,%3Csvg%20xmlns=%22</img><meta itemprop="width" content="408"><meta itemprop="height" content="339"></span></p><h4>Пример #2</h4><p># разрешает скачивание файла doc.xml</p><p># разрешает скачивание файла doc.xml</p><p>Allow: /doc.xml</p><h2>Где можно найти файл robots.txt и как его создать или редактировать</h2><p>Чтобы проверить файл robots.txt сайта, следует добавить к домену «/robots.txt», примеры:</p><p>https://24rek.ru/robots.txt<span itemprop="image" itemscope itemtype="https://schema.org/ImageObject"><img itemprop="url image" decoding="async" src="https://24rek.ru/wp-content/uploads/2021/07/1gtu04cc.png"></img><img width="1024" height="808" src=)
https://serpstat.com/robots.txthttps://netpeak.net/robots.txt
Как создать и редактировать robots.txt
Вручную
Данный файл всегда можно найти, подключившись к FTP сайта или в файлом редакторе хостинг-провайдера в корневой папке сайта (как правило, public_html):
![](data:image/svg+xml,%3Csvg%20xmlns=%22</img><meta itemprop="width" content="748"><meta itemprop="height" content="811"></span></p><p>Далее открываем сам файл и можно его редактировать.</p><p><span itemprop="image" itemscope itemtype="https://schema.org/ImageObject"><img itemprop="url image" decoding="async" src="https://24rek.ru/wp-content/uploads/2021/07/nwelxtgi.png"></img><img width="847" height="425" src=)
Если его нет, то достаточно создать новый файл.
![](data:image/svg+xml,%3Csvg%20xmlns=%22</img><meta itemprop="width" content="759"><meta itemprop="height" content="802"></span></p><p>После вводим название документа и сохраняем.</p><p><span itemprop="image" itemscope itemtype="https://schema.org/ImageObject"><img itemprop="url image" decoding="async" src="https://24rek.ru/wp-content/uploads/2021/07/iddxuj3u.png"></img><img width="708" height="709" src=)
Через модули/дополнения/плагины
Чтобы управлять данный файлом прямо в административной панели сайта следует установить дополнительный модуль:
- Для 1С-Битрикс;
https://dev.1c-bitrix.ru/learning/course/?COURSE_ID=139&LESSON_ID=5814