Поисковые роботы (пауки, краулеры) – это программы, которые предназначены для индексации страниц, занесения информации в базу данных. Паук оценивает содержимое страницы, после чего сохраняет ее на сервере поисковой системы. Далее он переходит в другие разделы по гиперссылкам и продолжает изучение.
У разработчиков есть возможность регулирования глубины проникновения роботов на сайт, а также установления определенных объемов изучаемого текста. Для эффективной раскрутки эти характеристики могут корректироваться в зависимости от особенностей индексации.
Поисковые алгоритмы сами решают, как часто, в каком порядке происходит изучение сайтов, а также выделяют критерии для установления ревалентности страниц.
Виды пауков
- Главные (национальные). Изучают информацию с определенного национального домена.
- Глобальные. Сбор сведений со всех сайтов.
- Индексаторы изображений, аудио- и видеофайлов.
- Ссылочные.
- Зеркальщики. Выявляют зеркала ресурса и подсчитывают их.
- Подсветчики. Занимаются оформлением результатов поисковых систем.
- Проверяющие.
- Стукачи (дятлы).
- Шпионы.
- Смотрители.
- Исследователи.
- Быстрые роботы.