Время чтения 5 минут | прочитали: 494Несмотря на то, что изначальная стратегия «белого» продвижения сайта в интернете – это ориентирование на живых людей, придется сделать кое-что и для поисковых ботов. Это относится к созданию файла robot.txt, который для поисковика – первое, что он узнает о вашем сайте.
Файл размещается в корневой директории сайта и содержит инструкции для поискового бота, выражаясь простым языком – «куда ему ходить, а куда нет». В файле robot.txt можно запретить индексацию некоторых страниц и разделов (например, если они содержат дублированный контент, и его индексация может повредить рейтингу сайта), указать временные интервалы на скачивание информации с сервера и многое другое.
Как создать файл robot.txt?
Файл создается в обычном блокноте или любом другом текстовом редакторе, который может сохранять в формате *txt. Если никаких конкретных указаний для бота у вас нет, можно оставить данный файл пустым – тогда робот пойдет по всем страницам сайта и будет индексировать все, что увидит. Помните, что для корректной работы имя файла должно быть набрано в нижнем регистре.
Можно ли сделать несколько файлов robot.txt?
Сделать-то можно, только смысла в этом нет никакого, ведь кроме как в корневой директории робот нигде не будет искать такой файл. Если вы все же хотите создать подобные файлы для поддиректорий, нужно будет собрать их все в один корневой файл, либо объединить с помощью метатега Robots. Данный метатег обычно запрещает роботу индексировать страницы, либо переходить по ссылкам на страницах.
Если вы продвигаете сайт в Рунете, наиболее актуально создавать robot.txt под Яндекс. Тут еще важно помнить о том, чтобы правильно использовать важную для этой поисковой системы директиву host.
