Об авторе

Настройка robots.txt

Настройка robots.txt Сегодняшняя тема- настройка файла robots.txt, что это за файл и для чего он нужен. Файл robots.txt – полностью оправдывает свое название, так как является инструкцией для поисковых устройств (роботов).  Этот документ находится в корневой папке сайта и ведет управление поисковых роботов, и в частности, запрещает индексацию разных частей сайта.

Проверить файл robots.txt своего блога можно набрав ссылку в строке браузера http://имя Вашего блога/robots.txt. 

Для большей наглядности хочу привести картинку, как работает данный файл:

 Настройка robots.txt

Звездочка, находящаяся после слов User-agent гласит о том, что действия, указанные в robots.txt предназначены абсолютно для всех поисковых устройств. Вместо звездочки может быть также название какого-либо одного устройства. Уже в этом случает осуществление индексикации будет запрещено лишь указанному поисковику. Слово «Disallow» прямо гласит о запрете индексикации. Очень много весит черта после слова «Disallow» — слэш. На примере это будет выглядеть вот так:

User-agent: * Disallow: /

Запрет индексации сайта абсолютно всеми устройствами. Но, если после «Disallow» косой черты не будет , то ситуация станет противоположной – сайт будет в таком случае разрешен для индексации всеми устройствами. Обращайте внимание на наличие или отсутствие слэша. Есть и другие способы запретить индексацию – с помощью атрибута nofollow и тега noindex, но поисковые роботы более лояльны к файлу robots.txt.

Настроить данный файл совсем не сложно. Скачать образец файла robots.txt можно по этой ссылке ==>> Скачать. Теперь нужно внести изменения. Открываем файл в текстовом редакторе или блокноте. В самом конце документа нужно вписать адрес Вашего блога, в предпоследней графе: Host: - без http://, в последней строке Sitemap:- полный адрес.

 

Настройка robots.txt

Сохраняем документ и с помощью FTP- клиента закидываем на блог, в корневую папку.

 

Настройка robots.txt

 

Если у Вас уже был файл robots.txt, FileZilla спросит какое действие совершить с имеющимся файлом- отмечаем « Перезаписать» и нажимаем « ОК».

 

Настройка robots.txt

 

В заключении проверяем все ли правильно Вы сделали, открываем Ваш блог по адресу- http://имя Вашего блога/robots.txt

На этом настройка файла robots.txt закончена.

Желаю отличной индексации Вашего ресурса.

С Уважением, Александр Клюев.


Вам так же будет интересно

Предыдущий пост:     ←
Следующий пост:    

К записи "Настройка robots.txt" 2 комментария

  1. Александр, большое спасибо за эту статью, а то я совсем запутался. Теперь разобрался)))

    [Ответить]

    Александр Клюев Reply:

    Всегда рад помочь.

    [Ответить]

Оставить свой комментарий