Управление индексацией

Индексацией сайта можно управлять. Далеко не всегда надо предлагать для индексации в поисковой системе абсолютно все страницы своего сайта. Например, страницы форума с кабинетам юзеров или регистрацией не несут никакой полезной информации для поисковой системы и её пользователей. То же самое со страницами «версия для печати», которые обычно представляются без навигационного меню и без дополнительного форматирования. Поставить ограничение на индексацию сайта можно:
• с помощью файла robots.txt,
• с помощью специального мета-тега HTML.
Однако, первый вариант предпочтительней, так как он затрачивает меньше ресурсов сервера и ускоряет его работу.
Про синтаксис этого файла написано много. Поисковые оптимизаторы обязательно используют его в своей работе. Использование robots.txt ускоряет индексацию и улучшает выдачу сайта по поисковым запросам. Встречаются случаи, когда без этого файла сайт вообще не появляется на выдаче поисковиком, то есть не индексируется. Поэтому использование выборочной индексации можно считать обязательным элементом поисковой оптимизации.