Файл robots.txt — это текстовый файл, в котором содержаться инструкции для поисковых роботов, в частности каким роботам и какие страницы допускается сканировать, а какие нет.
- В Яндекс.Вебмастер;
- Google Search Console.
Как проверить работу файла robots.txt в Яндекс.Вебмастер
В Яндекс.Вебмастер в разделе «Инструменты→ Анализ robots.txt» можно увидеть используемый поисковиком свод правил и наличие ошибок в нем.
![](data:image/svg+xml,%3Csvg%20xmlns=%22</img><meta itemprop="width" content="1196"><meta itemprop="height" content="884"></span></p>
<p>Также можно скачать другие версии файла или просто ознакомиться с ними.</p>
<p><span itemprop="image" itemscope itemtype="https://schema.org/ImageObject"><img itemprop="url image" decoding="async" src="https://24rek.ru/wp-content/uploads/2021/07/cq0gdehi.png"></img><img width="1008" height="788" src=)
Чуть ниже имеется инструмент, который дает возможно проверить сразу до 100 URL на возможность сканирования.
В нашем случае мы проверяем эти правила.
![](data:image/svg+xml,%3Csvg%20xmlns=%22</img><meta itemprop="width" content="1024"><meta itemprop="height" content="636"></span></p>
<p>Как видим из примера все работает нормально.</p>
<p><span itemprop="image" itemscope itemtype="https://schema.org/ImageObject"><img itemprop="url image" decoding="async" src="https://24rek.ru/wp-content/uploads/2021/07/2dnqq0et.png"></img><img width="1024" height="712" src=)
![](data:image/svg+xml,%3Csvg%20xmlns=%22</img><meta itemprop="width" content="1024"><meta itemprop="height" content="589"></span></p>
<p>Также если воспользоваться сервисом «Проверка ответа сервера» от Яндекса также будет указано, запрещен ли для сканирования документ при попытке обратиться к нему.</p>
<p><span itemprop="image" itemscope itemtype="https://schema.org/ImageObject"><img itemprop="url image" decoding="async" src="https://24rek.ru/wp-content/uploads/2021/07/2ercj3dg.png"></img><img width="1024" height="357" src=)
В Google Search Console
В случае с Google можно воспользоваться инструментом проверки Robots.txt, где потребуется в первую очередь выбрать нужный сайт.
![](data:image/svg+xml,%3Csvg%20xmlns=%22</img><meta itemprop="width" content="1024"><meta itemprop="height" content="438"></span></p>
<p><p><strong>Важно! </strong>Ресурсы-домены в этом случае выбирать нельзя.</p>
<p>Теперь мы видим:</p>
<ul>
<li>Сам файл;</li>
<li>Кнопку, открывающую его;</li>
<li>Симулятор для проверки сканирования.</li>
</ul>
<p><span itemprop="image" itemscope itemtype="https://schema.org/ImageObject"><img itemprop="url image" decoding="async" src="https://24rek.ru/wp-content/uploads/2021/07/50jybkm4.png"></img><img width="1024" height="558" src=)
Если в симуляторе ввести заблокированный URL, то можно увидеть правило, запрещающее сделать это и уведомление «Недоступен».
![](data:image/svg+xml,%3Csvg%20xmlns=%22</img><meta itemprop="width" content="1024"><meta itemprop="height" content="499"></span></p>
<p>Однако, если ввести заблокированный URL в страницу поиска в новой Google Search Console (или запросить ее индексирование), то можно увидеть, что страница заблокирована в файле robots.txt.</p>
<p><span itemprop="image" itemscope itemtype="https://schema.org/ImageObject"><img itemprop="url image" decoding="async" src="https://24rek.ru/wp-content/uploads/2021/07/otuvct1b.png"></img><img width="1024" height="646" src=)
Подписывайтесь на наш канал в Яндекс.Дзен
Подписывайтесь на наши социальные сети