БЗИК Блог Заядлого ИнтернетчиКа

Написание robots.txt

Примеры robots.txt, которые рекомендую к использованию:

# Запрет индексации всего сайта
User-Agent: *
Disallow: /

# Разрешение к индексации всего сайта + указание главного адреса (зеркала)
User-Agent: *
Disallow:
Host: www.hostlife.ru