Поделиться:

← Вернуться в оглавление Учебника

Правила составления файла robots.txt для сайта

Продолжаем серию постов, которые входят в профессиональный SEO учебник – SEO PROF BOOK (http://seotoo.ru/seo-prof-book/).

Стандартный файл robots.txt имеет вид:

User-agent: Yandex

Disallow: /name folder/

Disallow: /name_page.html

Host: www.site.ru

User-agent: *

Disallow: /name folder/

Disallow: /name_page.html

Sitemap: www.site.ru/sitemap.xml

Описание директив файла robots.txt, которые приведены выше:

  1. User-agent – указывается для какой поисковой системы ниже перечисленные правила. Yandex – соответственно для Яндекса, * – для всех остальных;
  2. Disallow – здесь перечисляются папки и конкретные страницы, которые не следует индексировать;
  3. Sitemap – путь к карте сайта в формате .xml. обязательно указывается полный адрес, начиная от www…;
  4. Host – директива только для Яндекса, которая позволяет указывать главное зеркало сайта (другой домен, и индексацию с www или без www .

Правила корректного составления файла robots.txt:

  • Файл должен иметь только строчные буквы, как в названии, так и в расширении.
  • После знака «:» всегда идет пробел.
  • В disallow следует прописывать все папки движка, админки, и прочие системные папки, так же следует закрывать от индексации старые версии сайтов, архивные папки.

← Вернуться в оглавление Учебника

Смотрите также: