Веб-дизайн
О компании Пресса о нас Наши клиенты Контакты Вакансии



Информационно-маркетинговая студия «Инфо-Марк» - это коллектив высококлассных профессионалов в области маркетинга и информационных технологий.





Rambler's Top100


Directrix.ru - рейтинг, каталог сайтов    
 А   Б   В   Г   Д   Е   Ж   З   И   Й    К   Л   М   Н   О   П   Р   С   Т   У   Ф   Х   Ц   Ч   Ш   Щ    Ъ    Ы    Ь    Э   Ю   Я 

 A   B   C   D   E   F   G   H   I   J   K   L   M   N   O   P   Q   R   S   T   U   V   W   X   Y   Z 


Робот (robot, спайдер, паук, spider)

часть поисковой системы, предназначенная для сбора и анализа информации (контента) с сайтов. В соответствии с установленным алгоритмом робот анализирует содержание каждой страницы сайта, заносит его в базу данных поисковой системы и присваивает определенное место в рейтинге по конкретному запросу (производит индексацию). Чем чаще обновляется и дополняется информация на Вашем сайте, тем чаще робот будет проводить индексацию страниц.
Владелец сайта может описать права доступа для поисковых роботов, т.е. указать им, какие страницы нужно индексировать, а какие - нет, предоставить разным роботам разные права доступа. Для этого создается специальный файл /robots.txt. Именно его в первую очередь запрашивает робот при обращении к серверу. Если в файле /robots.txt содержится 0 записей, то робот будет индексировать все страницы сайта в соответствии со своим алгоритмом. Если робот найдет в этом файле специально созданное для него правило, то поступит так, как ему предписано. Файл /robots.txt ограничивает действия поисковых роботов и за счет этого отчасти помогает решить серьезную проблему с нагрузкой на сервер, которая создается при индексации всего содержимого сайта.
Существует еще один способ задать правила поведения робота для каждой HTML-страницы в специальных мета-тегах вида , где в robot_terms через запятую указываются правила индексации all, none, index, noindex, follow или nofollow.

 
(C) 2004-2009 Маркетинговое агентство Инфо-Марк Санкт-Петербург.
Маркетинговые исследования рынков в Санкт-Петербурге, Москве и других регионах России.
Правовые соглашения.