Часто Задаваемые Вопросы

Блокировка ботов с помощью robots.txt

Очень большую нагрузку на сайт создают различные боты. Большинство ботов не несут пользы для вашего сайта и их желательно заблокировать.

Файл robots.txt должен располагаться в корне сайта. Пусть на сервере /www/domain.ru/, где domain.ru это имя вашего домена.

Инструкции в robots.txt носят рекомендательный характер и некоторые боты игнорируют их. Если вы заметили на сайте активность ботов, которые заблокированы в robots.txt, то блокировка таких ботов должна выполнятся через файл htaccess.
Мы рекомендуем в первую очередь использовать блокировку через robots.txt и только после этого блокировку через файл .htaccess.

Какой User-agent указывать для поисковых ботов:

Для Яндекса
YandexBot - основной индексирующий бот.
Yandex - указание для всех ботов яндекса(Яндекс.Новости, Яндекс.Картинки и тд). Мы рекомендуем указывать этот User-agent

Для Google
Googlebot - основной индексирующий бот

Для mail.ru
Mail.Ru - основной индексирующий бот.

Для Bing
Bingbot - основной индексирующий бот.


Пример оформления правил robots.txt.
В указанном примере используется только 3 директивы Disallow, в реальности их количество может быть значительно больше.

User-agent: *
Disallow: /wp-includes/
Disallow: /wp-admin/
Disallow: /wp-login.php

Допустим вам необходима индексация сайта только двумя ботами - Яндекс и Google. В этом случае необходимо создать 3 правила: для User-agent Yandex, Googlebot и запретить доступ всем остальным.

User-agent: Yandex
Disallow: /wp-includes/
Disallow: /wp-admin/
Disallow: /wp-login.php

User-agent: Googlebot
Disallow: /wp-includes/
Disallow: /wp-admin/
Disallow: /wp-login.php

User-agent: *
Disallow: /

Поисковый системам необходимо время(до недели), чтобы учесть изменения в файле robots.txt

Вернуться к содержанию