Для чего нужен robots.txt

В файле robots.txt можно прописать необходимые правила для поисковых ботов, а затем загрузить его в корневую папку своего сайта, расположенную на хостинге. При этом у него должен быть адрес; имя вашего сайта/robots.txt. С одной стороны всё просто, а с другой стороны, это очень важный материал для тех, кто самостоятельно продвигает свои сайты. Давайте вместе разбираться для чего нужен robot.txt. А также узнаем некоторые нюансы, которые пригодятся для работы с этим файлом.

Накладываемое ограничение на некоторые разделы вашего сайта для поисковых роботов не говорит о том, что вы скрываете какую-то запрещенную информацию. Просто на сайте присутствует часть информации, которая не представляет интереса для посетителей и поисковых ботов, поэтому нет смысла для её индексации. Это страницы регистрации и логина, RSS-лент у каждого поста и т.д. Вот еще и по этой причине необходимо правильно создать файл robot.txt. Файл robot.txt нужен для того, чтобы указать поисковикам правильное зеркало вашего домена с www или без него. Можно также указать адрес карты вашего сайта.

Создать robots.txt в Notepad++

Изначально в движке WordPress файл robot.txt отсутствует. Простой метод исправить такую ситуацию, создать его в редакторе Notepad++;

поместить в нем необходимый код,
озаглавить такой файл robots.txt,
поместить в корневой папке вашего хостинга.

Любопытной особенностью этого файла является то, что вы можете посмотреть его содержимое на любом сайте. Для этого пропишите после адреса сайта /robots.txt и все. Таким образом, вы можете посмотреть и сравнить эти файлы у раскрученных сайтов, и это также покажет вам, как правильно создать файл robots.txt.

Индексация страниц сайта

Абсолютно идеального файла robot.txt не существует. Можно пробовать разные варианты и в итоге прийти к оптимальному содержимому данного файла. Но обязательно время от времени его нужно дополнять и редактировать. При помощи данного файла вы можете задавать поисковым ботам определенный интервал времени между индексацией контента на сервере. Бывают случаи, когда при индексации контента боты оказывают на хостинг повышенную нагрузку. Соответственно приходится сделать для них паузу, 5 или 10 секунд. Но если бот сильно напрягает хостинг, можно увеличить паузу, от 10 и до 20 секунд. Это маленькие нюансы того, как правильно создать файл robots.txt для вашего сайта.

Как создать robots.txt

Для поисковых ботов от Google и Yandex устанавливать паузу не советую, поскольку это вызовет проблемы с индексацией сайта. Еще один важный нюанс, составляя текстовый файл, не оставляйте пустых строк между директивами User-agent и Disallow. Потому что пустая строка означает конец правил для поискового робота. Звездочка (*) в файле robots.txt означает последовательность различных символов. Yandex поддерживает только директиву host. Для поискового бота от Яндекса она говорит о том, какое зеркало из двух является главным с www или без него. Для начала нужно создать чистый файл и дать ему имя robots.txt. Внутри нужно прописать скопированный понравившийся текст файла, отредактировать его на свое усмотрение и залить на хостинг.

Post Views: 47