Сегодняшняя тема- настройка файла robots.txt, что это за файл и для чего он нужен. Файл robots.txt – полностью оправдывает свое название, так как является инструкцией для поисковых устройств (роботов). Этот документ находится в корневой папке сайта и ведет управление поисковых роботов, и в частности, запрещает индексацию разных частей сайта.
Проверить файл robots.txt своего блога можно набрав ссылку в строке браузера http://имя Вашего блога/robots.txt.
Для большей наглядности хочу привести картинку, как работает данный файл:
Звездочка, находящаяся после слов User-agent гласит о том, что действия, указанные в robots.txt предназначены абсолютно для всех поисковых устройств. Вместо звездочки может быть также название какого-либо одного устройства. Уже в этом случает осуществление индексикации будет запрещено лишь указанному поисковику. Слово «Disallow» прямо гласит о запрете индексикации. Очень много весит черта после слова «Disallow» — слэш. На примере это будет выглядеть вот так:
User-agent: * Disallow: /
Запрет индексации сайта абсолютно всеми устройствами. Но, если после «Disallow» косой черты не будет , то ситуация станет противоположной – сайт будет в таком случае разрешен для индексации всеми устройствами. Обращайте внимание на наличие или отсутствие слэша. Есть и другие способы запретить индексацию – с помощью атрибута nofollow и тега noindex, но поисковые роботы более лояльны к файлу robots.txt.
Настроить данный файл совсем не сложно. Скачать образец файла robots.txt можно по этой ссылке ==>> Теперь нужно внести изменения. Открываем файл в текстовом редакторе или блокноте. В самом конце документа нужно вписать адрес Вашего блога, в предпоследней графе: Host: - без http://, в последней строке Sitemap:- полный адрес.
Сохраняем документ и с помощью FTP- клиента закидываем на блог, в корневую папку.
Если у Вас уже был файл robots.txt, FileZilla спросит какое действие совершить с имеющимся файлом- отмечаем « Перезаписать» и нажимаем « ОК».
В заключении проверяем все ли правильно Вы сделали, открываем Ваш блог по адресу- http://имя Вашего блога/robots.txt
На этом настройка файла robots.txt закончена. А вообще, единственно правильного файла для WordPress, наверное, не существует. Можно, кончено же, реализовать в нем любые предпосылки, но кто сказал, что они будут правильными. Вариантов идеальных robots.txt в сети много.
Желаю отличной индексации Вашего ресурса.
С Уважением, Александр Клюев.
