8 800 555-24-26

Поисковые роботы

Поисковые роботы (пауки, краулеры) – это программы, которые предназначены для индексации страниц, занесения информации в базу данных. Паук оценивает содержимое страницы, после чего сохраняет ее на сервере поисковой системы. Далее он переходит в другие разделы по гиперссылкам и продолжает изучение.

У разработчиков есть возможность регулирования глубины проникновения роботов на сайт, а также установления определенных объемов изучаемого текста. Для эффективной раскрутки эти характеристики могут корректироваться в зависимости от особенностей индексации.

Поисковые алгоритмы сами решают, как часто, в каком порядке происходит изучение сайтов, а также выделяют критерии для установления ревалентности страниц.

Виды пауков

  • Главные (национальные). Изучают информацию с определенного национального домена.
  • Глобальные. Сбор сведений со всех сайтов.
  • Индексаторы изображений, аудио- и видеофайлов.
  • Ссылочные.
  • Зеркальщики. Выявляют зеркала ресурса и подсчитывают их.
  • Подсветчики. Занимаются оформлением результатов поисковых систем.
  • Проверяющие.
  • Стукачи (дятлы).
  • Шпионы.
  • Смотрители.
  • Исследователи.
  • Быстрые роботы.