Написание robots.txt
Примеры robots.txt, которые рекомендую к использованию:
# Запрет индексации всего сайта
User-Agent: *
Disallow: /
# Разрешение к индексации всего сайта + указание главного адреса (зеркала)
User-Agent: *
Disallow:
Host: www.hostlife.ru
