Главная » Статьи о WEB и SEO » Правильный robots.txt

Правильный robots.txt

imgДалеко не все веб-оптимизаторы уделяют должное внимание файлу robots.txt. А зря. Любой уважающий себя поисковик (уж тем более Google и Яндекс) первым делом сканируют сайт на его наличие. Ведь именно он указывает правила индексирования сайта. Файл robots.txt нужно создавать в текстовом редакторе и сохранять в формате Unix. На сегодняшний день большинство редакторов уже обладают необходимым функционалом.

Сегодня мы рассмотрим как правильно составить этот служебный файл.

Чтобы указать, для какого робота относится запись, нужно использовать поле User-agent. К примеру: User-agent: Yandex. Если есть необходимость обратиться ко всем возможным роботам, то необходимо использовать запись следующего вида: User-agent: *. Названия отдельных поисковых роботов вы найдете в руководствах для веб-мастера размещенных на сайтах самих поисковиков, либо в логах своего сервера.

Вторым полем, которое мы сегодня рассмотрим, является Disallow. Оно предназначено для запрета индексирования какой-либо страницы, директории и даже всего сайта. Например: Disallow: about.html – запретит индексировать страницу about.html. Для каталога запись должна иметь следующий вид: Disallow: /name/.

Разрешается использовать символы подстановки. Так, Disallow: /name запретит индексировать и name.html и /name/index.html. Оставляя поле Disallow пустым, вы разрешаете индексировать любые данные.

Для валидации файла robots.txt необходимо для каждого поля User-agent должна быть хотя бы одна директива Disallow.

Следует помнить, что строки, начинающиеся с символа «#», считаются комментарием.

Чтобы разрешить любым роботам индексировать все материалы сайта, файл может иметь вид:

User-agent: *

Disallow:

Чтобы наоборот запретить любые сканирования поисковых и других роботов сайт через robots.txt, он должен содержать запись:

User-agent: *

Disallow: /

Добавим, что запретить отдельные страницы сайта можно и через мета тег robots. Размещать его следует в заголовке страницы (перед закрывающим head).

Разрешить индексировать всё: <meta name=”robots” content=”index, follow”>

Запретить индексировать: <meta name=”robots” content=”noindex, nofollow”>

Вам может быть интересно:

imgИ хотя мета тег keywords с каждым обновлением поисковых систем только теряет свою значимость, о нем не стоит забывать. Сегодня, нам бы хотелось рассказать о нем. Итак, почему значимость его теряется? Первоначально он был придуман, чтобы облегчить индексацию страниц. Вебмастер указывал, какие слова, по его мнению, в значительной степени отражают суть материала, а поисковая система индексировала не только видимый текст, но и эти ключевые слова. Поэтому при ранжировании сайта, больший вес имела та страница, у которой совпадали эти ключевые слова. Далее…

imgПринято разделять продвижение сайта в социальных сетях на SMO (Social Media Optimization) и SMM (Social Media Marketing). Подготовка сайта для продвижения в соцсетях направлена стабильную, устойчивую его работу. Само определение говорит о том, что работа по продвижению ведется на стороне сайта. По сути, оно подразумевает переработку всех материалов под соцсети. Т.е. привести её в тот вид, когда она (информация) станет наиболее полезной и информативной для максимального числа пользователей. Далее…

imgДалеко не все веб-оптимизаторы уделяют должное внимание файлу robots.txt. А зря. Любой уважающий себя поисковик (уж тем более Google и Яндекс) первым делом сканируют сайт на его наличие. Ведь именно он указывает правила индексирования сайта. Файл robots.txt нужно создавать в текстовом редакторе и сохранять в формате Unix. На сегодняшний день большинство редакторов уже обладают необходимым функционалом. Далее…

imgКлоакинг, в буквальном переводе с английского означает скрытие, маскировка. Это один из способов «черных» методов раскрутки сайта. А это уже говорит о том, что поисковики не приемлют такие методы. Клоакинг заключается в отображении посетителям сайта страницы с одной информацией, а поисковым роботам – с другой. При этом адрес остается неизменным. Далее…

imgБыла у Вас подобная ситуация? Давайте подробно рассмотрим этот вопрос: как раскрутить форум на долгое время. Первый вопрос, который мы затронем, будет звучать так: действительно ли Вам нужен форум? Чтобы ответить на столь важный вопрос, давайте для начала определимся и со следующим радом вопросов. Далее…

все статьи