Файл robots.txt
Все поисковые роботы при заходе на сайт в первую очередь ищут файл robots.txt. Если вы – вебмастер, вы должны знать назначение и синтаксис robots.txt.
Файл robots.txt – это текстовый файл, находящийся в корневой директории сайта, в котором записываются специальные инструкции для поисковых роботов. Эти инструкции могут запрещать к индексации некоторые разделы или страницы на сайте, указывать на правильное «зеркалирование» домена, рекомендовать поисковому роботу соблюдать определенный временной интервал между скачиванием документов с сервера и т.д.
Создание robots.txt
Чтобы создать файл robots.txt, нужен простой текстовый файл. Если вы не собираетесь создавать запреты к индексации, можно сделать пустой файл robots.txt.
Для Рунета самой часто встречающейся задачей является создание файла robots.txt для Яндекса, так как сейчас Яндекс – самая популярная поисковая система. Важно уметь правильно использовать директиву Host, которую соблюдает этот поисковик.
Начнем с того, что вообще представляет из себя данный файл. Это текстовый файл, который легко можно создать в Блокноте. Имя его, как вы догадались (: robots.txt. Пишется он только мелкими строчными буквами на латинице. Robots.txt или ROBOTS.txt — не верно. Роботы будут игнорировать такой файл.
Теперь обсудим основные функции файла. Их не так много.
User-agent — имя робота. У каждого бота есть такое уникальное имя (User-agent: Yandex).
Disallow — после этой директивы мы и должны указать файл или папку, к которой запрещаем доступ относительно корня вашего сайта. Разрешается указывать только одну папку или имя файла
(Disallow: /admin).
Создадим файл robots.txt и поместим в него следующий код:
Code
User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Host: www.ваш домен.org.ua
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Sitemap: http://www.ваш домен/sitemap.xml
[blue]Этими строчками мы запретили роботам индексировать системные папки (wp-admin, wp-includes, wp-content), страницы с информацией по тегам, rss feed, поисковые результаты. Но, указали точный путь до папки с мультимедиа файлами и карты сайта. Вот и все. Файл готов. Если же вы хотите узнать больше информации о файле robots.txt, то обязательно посетите ресурс robotstxt.org.ru[/blue]
