8 800 555-24-26

Robots.txt

Это ни что иное как инструкция, которую используют поисковые роботы. Она содержится в корневой папке и способна проконтролировать поведение роботов, например, может запретить индексацию определенной части сайта.

В 90-х годах был зафиксирован рост поисковых сервисов, которые сильно осложняли работу по продвижению сайта в поисковых системах. Ведь во время индексации поисковик обрабатывает абсолютно все страницы, вот почему возникла необходимость создать средство, позволяющее указать роботу, что обрабатывать нужно, а что нет.

Посещая сайт, поисковый робот сразу ищет robots.txt, который чаще всего имеет такой вид:

  • User-agent: *
  • Disallow: /tmp/
  • Disallow: /cgi-bin/

Значок * говорит о том, что разрешен общий доступ к содержимому инструкции для роботов всех поисковых систем. Если вместо этого стоит имя какого-нибудь робота, то это означает запрет для него. Косая линия после Disallow означает запрет обработки всего сайта целиком для любого робота.

Также запрещают индексацию сайта nofollow и noindex, однако поисковые машины относятся к ним неодобрительно и в результате санкций примененных поисковыми системами стоимость продвижения может возрасти.