SEO юмор, юмористический дайджест Seo-Fun  
  на главную  
 
 
 

Анализ robots.txt и значение этого файла для работы сайта

Для того, чтобы поисковые роботы взаимодействовали с интернет-ресурсом так, как это необходимо, следует уделять особое внимание некоторым файлам, например, Robots.txt. Этот файл находится в корневом каталоге интернет-ресурса и влияет на такие параметры, как запрет или разрешение индексации тех или иных страниц, а также на многие другие дополнительные функции.

Смотрите полный видеокурс на iTunes

Как создать robots.txt

В связи с тем, что анализ robots.txt – первая процедура, осуществляемая поисковым роботом при индексации сайта, очень важно правильно создать и настроить этот файл. Для его первоначального создания подойдёт любой текстовый редактор. В него вписываются параметры настройки и файл сохраняется в корневом каталоге как robots.txt. Что касается настройки файла, то к этой процедуре следует проявлять особое внимание и осторожность, поскольку анализ robots.txt поисковым роботом, в случае если в файле прописаны неверные параметры, может открыть для общего доступа конфиденциальную информацию, либо, наоборот, скрыть полезные для индексации страницы.

Настройка robots.txt

Для файла robots.txt есть две основные директивы - User-agent и Disallow. User-agent – это директива, которая определяет какой именно поисковой робот будет выполнять запрет на индексацию, прописанный в Disallow. Если же вместо Disallow прописать команду Allow, запрет на индексацию заменяется на открытие доступа к файлу или папке. Следует отметить, что каждый путь необходимо прописывать в отдельной строке, в противном случае анализ robots.txt будет происходить неправильно. Помимо перечисленных основных директив, существуют и дополнительные, которые также значительно упрощают процесс индексации и регулируют доступ к сайту. К примеру, директива host незаменима для сайтов, имеющих несколько зеркал. Именно она указывает поисковому роботу на основное зеркало, которое должно отображаться в выдаче. Директива sitemap указывает поисковым роботам путь к сайту, в котором содержится информация о его страницах, их местоположении, приоритете индексации и другие важные данные. Для создания задержки между загрузкой страниц вашего ресурса поисковым роботом используется параметр Crawl-delay. Это помогает в тех случаях, когда структура сайта включает в себя много страниц. При помощи директивы Request-rate регулируется периодичность загрузки страниц сайта поисковым роботом, а директива Visit-time определяет временной промежуток, в который робот может загружать страницы.

Как определить правильно ли настроен файл

Огромное значение имеет анализ robots.txt с точки зрения того, насколько правильно выставлены параметры, содержащиеся в нём. Проверить это достаточно просто, например, при помощи сервиса Яндекс.Вебмастер. Загрузив файл, вы получите сведения о том, есть ли какие-либо ошибки в прописанных настройках.

Итак, файл robots.txt представляет собой один из важнейших элементов структуры сайта. Очень важно проявить всю ответственность и внимание при его создании и внесении изменений в его код.

Дата: 16 мая 2012


Добавить комментарий

Имя

E-mail

Комментарий

Контрольный вопрос:
Сколько будет: 15*2-5


 
 
 

 
Последние комментарии