Robots.txt

Robots.txt – это текстовый файл корневого каталога сайта, идентифицируемый поисковыми системами и служащий индикатором параметров сайта, указанных веб-мастером.
Robots.txt

Robots.txt – это текстовый файл корневого каталога сайта, идентифицируемый поисковыми системами и служащий индикатором параметров сайта, указанных веб-мастером.

Применение Robots.txt

Основное назначение текстового документа в задании параметров индексации веб-страниц поисковым системам. Например, скрыть страницы с базами ключевых слов или дубликаты основных страниц и пр.

В случае неправильного заполнения Robots.txt или полного его отсутствия робот идентифицирует всю информацию на усмотрение параметров поисковика.

Идентификация происходит в беспорядочном порядке и может пропустить более удачные веб-страницы, отдав предпочтение страницам, которые владелец сайта хотел заблокировать.

Нужные для поиска страницы могут пройти идентификацию через большой промежуток времени. Рейтинг сайта не продвигается.

В Robots.txt можно указать скрытие изображений в результатах выдачи поисковиков, но оставить их открытыми для посетителей сайта.

Некоторые поисковые системы игнорируют параметры, заданные в Robots.txt. В связи с этим для некоторых блокировок лучше использовать другие методы.

Параметры идентификации Robots.txt не исключают появление URLв тексте выдачи. Для этого необходимо использовать более адаптированные способы, т. к. поисковые системы склоняются к выполнению своего алгоритма больше, чем к условиям владельца сайта.

Создание Robots.txt

Файл составляется из записей, разделенных между собой пробелами. По типу:

˂поле ˃˂необязательный пробел˃˂значение˃˂необязательный пробел˃

Поле- User-agent или Disallow – это главные директивы (запреты) в Robots.txt

User-agent команда индексации, обозначает поискового робота для которого будут использовать указания (например, только Яндекс или только Гугл).

При записи команды с видом: User-agent:* команда будет восприниматься всеми поисковиками.

Символ «*» определяется как «все другие сайты»

Disallow – это команда запрета индексации для прописанного после поисковика. Запрет может накладываться только на определенную веб-страницу ресурса. Адрес веб-страницы прописывают в следующей строке Disallow.

Существует еще несколько второстепенных команд описывающих дальнейшие действия поискового робота на сайте. После составления всех строк проверьте корректность Robots.txt при помощи специальных сервисов поисковых систем.

Используя FTR-клиент закачайте документ в корневой каталог сайта.

  • R
  • 12, сегодня: 1