Работа в интернете

Файл "robots.txt" служит для того, чтобы скрыть от поисковых машин непредназначенный для индексации ими контент нашего сайта, в том числе неинтересные пользователю страницы, статистику сайта, а также может быть использован для запрета индексации зеркал сайта (зеркало - это копия сайта. Может быть частичной или полной. Применяется для повышения надежности и доступности сайтов с высокой посещаемостью. В рамках данного проекта об этом мы говорить не будем)...

Его название должно быть в точности как Вы видите (без кавычек, конечно), т.е. маленькими буквами, а находиться он должен обязательно в корневой директории Вашего сайта.

В файле "robots.txt" необходимо запретить ненужные, как сами считаете, папки и странички (сюда, можно отнести, например, папку с графикой для сайта, папку с какими-либо архивами для закачки, страничку "Контакты" и т.д.)".

Это нужно для того, чтобы наш сайт поисковики видели более содержательным, более отвечающим запросу простого пользователя. Известно, что незакрытые таким способом элементы контента могут, в конечном счете, негативно повлиять на положение сайта в выдаче поисковиков.

Но ближе к делу!

Создаем простой текстовый документ и называем его "robots".

В нем прописываем:

В данном случае мы запретили к индексации папку со скриптами "cgi-bin" и папку с графикой "img", лежащие в корневой директории сайта, сразу всем поисковым роботам (звездочка означает - всем).

Можно запретить к индексации файлы и папки только роботу Яндекса:

Для запрета индексации роботу Google вместо слова "Yandex" необходимо прописать "Googlebot " (по аналогии для Рамблера: "StackRambler", а вот, например, для Yahoo: "Yahoo! Slurp").