Файл robots.txt — это текстовый файл, в котором содержаться инструкции для поисковых роботов, в частности каким роботам и какие страницы допускается сканировать, а какие нет.
- Инструкция;
- Как найти;
- Как создать;
Как закрыть страницы сайта от индексации через robots.txt
Disallow запрещает индексацию отдельной страницы или группы (в том числе всего сайта). Чаще всего используется для того, чтобы скрыть технические страницы, динамические или временные страницы.
Пример #1
# Полностью закрывает весь сайт от индексации
User-agent: *
Disallow: /
Пример #2
# Блокирует для скачивания все страницы раздела /category1/, например, /category1/page1/ или caterogy1/page2/
Disallow: /category1/
![](data:image/svg+xml,%3Csvg%20xmlns=%22</img><meta itemprop="width" content="391"><meta itemprop="height" content="371"></span></p><h4>Пример #3</h4><p># Блокирует для скачивания страницу раздела /category2/</p><p>User-agent: *</p><p>Disallow: /category1/$</p><h4>Пример #4</h4><p># Дает возможность сканировать весь сайт просто оставив поле пустым</p><p>User-agent: *</p><p>Disallow:</p><p><strong>Важно! </strong>Следует понимать, что регистр при использовании правил имеет значение, например, Disallow: /Category1/ не запрещает посещение страницы /category1/.</p><h2>Где можно найти файл robots.txt и как его создать или редактировать</h2><p>Чтобы проверить файл robots.txt сайта, следует добавить к домену «/robots.txt», примеры:</p><p>https://24rek.ru/robots.txt<span itemprop="image" itemscope itemtype="https://schema.org/ImageObject"><img itemprop="url image" decoding="async" src="https://24rek.ru/wp-content/uploads/2021/07/1suzcyyr.png"></img><img width="1024" height="808" src=)
https://serpstat.com/robots.txthttps://netpeak.net/robots.txt
Как создать и редактировать robots.txt
Вручную
Данный файл всегда можно найти, подключившись к FTP сайта или в файлом редакторе хостинг-провайдера в корневой папке сайта (как правило, public_html):
![](data:image/svg+xml,%3Csvg%20xmlns=%22</img><meta itemprop="width" content="748"><meta itemprop="height" content="811"></span></p><p>Далее открываем сам файл и можно его редактировать.</p><p><span itemprop="image" itemscope itemtype="https://schema.org/ImageObject"><img itemprop="url image" decoding="async" src="https://24rek.ru/wp-content/uploads/2021/07/kaj5juet.png"></img><img width="847" height="425" src=)
Если его нет, то достаточно создать новый файл.
![](data:image/svg+xml,%3Csvg%20xmlns=%22</img><meta itemprop="width" content="759"><meta itemprop="height" content="802"></span></p><p>После вводим название документа и сохраняем.</p><p><span itemprop="image" itemscope itemtype="https://schema.org/ImageObject"><img itemprop="url image" decoding="async" src="https://24rek.ru/wp-content/uploads/2021/07/mpd445pr.png"></img><img width="708" height="709" src=)
Через модули/дополнения/плагины
Чтобы управлять данный файлом прямо в административной панели сайта следует установить дополнительный модуль:
- Для 1С-Битрикс;
https://dev.1c-bitrix.ru/learning/course/?COURSE_ID=139&LESSON_ID=5814