Все пауки (поисковые роботы) от известных поисковых систем при заходе на сайт в первую очередь ищут файл robots.txt. Файл robots.txt – это текстовый файл, находящийся в корневой директории сайта и содержащий специальные инструкции для пауков. Эти инструкции могут запрещать к индексации некоторые разделы или страницы на сайте, указывать на правильное «зеркалирование» домена, рекомендовать поисковому роботу соблюдать определенный временной интервал между скачиванием документов с сервера и т.д.
Чтобы правильно написать robots.txt, большого ума не надо. Достаточно информации, представленной на сайте http://robotstxt.org.ru/ (синтаксис и формат robots.txt, примеры использования, а также описание основных поисковых роботов Рунета).
Зачитаешься...
Комментариев нет:
Отправить комментарий