Создать robots.txt для вашего сайта

Если вы каким-либо образом сталкивались с SEO оптимизацией сайта, значение robots.txt вы уже видели. В этой статье мы расскажем, как грамотно сгенерировать файл robots.txt и на что это вообще влияет.

Что такое robots.txt?

Если коротко: это такой файл, который выступает инструкцией для поисковых систем к индексации или отмене индексации определенных страниц вашего сайта.

Поисковые роботы по умолчанию проходятся по абсолютно всем ссылкам вашего сайта, ваша задача определить какие страницы должны попадать в поисковые системы, а какие страницы должны быть скрыты (например системные страницы). Инструкции, которые прописываются в файле, называются директивами.

Пример директивы — запрет индексации

Покажем на примере директивы, которая запрещает роботам сканировать определенные страницы.

Директива может выглядеть так:
User-agent: *
Disallow: /bitrix/

В этом примере мы закрыли от индексации системную панель сайта.

Или так:
User-Agent: Googlebot
Disallow: */index.php
Disallow: */function.php

Тут мы запретили роботам сканировать страницы index.php и function.php. Знак * переводится для роботов как "любой текст", / — знак запрета.

А теперь разрешим индекс — allow

Как исключать страницы из индекса мы разобрались, теперь научимся разрешать поисковикам индексировать определенные страницы нашего сайта.
У вас наверняка встал вопрос: а зачем? если поисковики и так по умолчанию индексируют все страницы сайта. Оказывается, это нужно для выборочного доступа. К примеру, вы хотите запретить раздел сайта с названием /razdel-nelikvid/.

Выглядеть это будет следующим образом:
User-agent: *
Disallow: /razdel-nelikvid/

Но что если мы хотим ввести в поиск не сам раздел, а категорию товара, который лежит в этом разделе?
Тогда:
User-agent: *
Disallow: /razdel-nelikvid/
Allow: /razdel-nelikvid/kolonka-muz/

Таким образом, вы закрыли общий раздел razdel-nelikvid, но открыли доступ к страницам с портативными музыкальными колонками.

Как проверить правильно ли работает ваш robots.txt?

Для первичной оценки вашего файла robots подойдут инструменты от Yandex и Google.

https://webmaster.yandex.ru/tools/robotstxt/

Сервис для проверки robots.txt от Google:
https://www.google.com/webmasters/tools/home?hl=ru

Если вы хотите более детально проработать robots.txt для вашего сайта, то заполните короткую форму ниже, она состоит всего из двух полей, и наши специалисты бесплатно проведут аудит, укажут на все основные ошибки.