Программа, являющаяся составной частью поисковой машины(поисковой системы), и предназначенная для обхода страниц Интернета с целью занесения их в базу поисковика. Порядок обхода страниц, частота визитов регулируется алгоритмами поисковой машины. Запретить индексацию всего сайта или его части можно с помощью файла robots.txt, содержащего инструкции для поисковых роботов.
(C) 2004-2009 Маркетинговое агентство Инфо-Марк Санкт-Петербург. Маркетинговые исследования рынков в Санкт-Петербурге, Москве и других регионах России. Правовые соглашения.
