Время чтения 5 минут | прочитали: 149

Значение файла robot.txt

Несмотря на то, что изначальная стратегия «белого» продвижения сайта в интернете – это ориентирование на живых людей, придется сделать кое-что и для поисковых ботов. Это относится к созданию файла robot.txt, который для поисковика – первое, что он узнает о вашем сайте.

Файл размещается в корневой директории сайта и содержит инструкции для поискового бота, выражаясь простым языком – «куда ему ходить, а куда нет». В файле robot.txt можно запретить индексацию некоторых страниц и разделов (например, если они содержат дублированный контент, и его индексация может повредить рейтингу сайта), указать временные интервалы на скачивание информации с сервера и многое другое.

Как создать файл robot.txt?

Файл создается в обычном блокноте или любом другом текстовом редакторе, который может сохранять в формате *txt. Если никаких конкретных указаний для бота у вас нет, можно оставить данный файл пустым – тогда робот пойдет по всем страницам сайта и будет индексировать все, что увидит. Помните, что для корректной работы имя файла должно быть набрано в нижнем регистре. 

Можно ли сделать несколько файлов robot.txt?

Сделать-то можно, только смысла в этом нет никакого, ведь кроме как в корневой директории робот нигде не будет искать такой файл. Если вы все же хотите создать подобные файлы для поддиректорий, нужно будет собрать их все в один корневой файл, либо объединить с помощью метатега Robots. Данный метатег обычно запрещает роботу индексировать страницы, либо переходить по ссылкам на страницах.

Если вы продвигаете сайт в Рунете, наиболее актуально создавать robot.txt под Яндекс. Тут еще важно помнить о том, чтобы правильно использовать важную для этой поисковой системы директиву host. 

 

← Технические факторы

Смотрите также:

Категории:

Алгоритмы Аналитика Аудит сайта Бизнес Дизайн Инструменты Кейсы Коммерческие факторы Контент Маркетинг Мета-теги Методы продвижения Оптимизация сайта Перелинковка Поведенческие факторы Продвижение сайта Ранжирование сайта Региональность Семантическое ядро Специалисты Ссылки Стоимость раскрутки сайтов Технические факторы Типы сайтов Трафик Фильтры Юзабилити Яндекс сервисы