Как создать файл «robots.txt»
Файл "robots.txt" служит для того, чтобы скрыть от поисковых машин непредназначенный для индексации ими контент нашего сайта, в том числе неинтересные пользователю страницы, статистику сайта, а также может быть использован для запрета индексации зеркал сайта (зеркало - это копия сайта. Может быть частичной или полной. Применяется для повышения надежности и доступности сайтов с высокой посещаемостью. [...]
