Битые ссылки

Битая ссылка — это ссылка, которая ведет в никуда: страница удалена, адрес изменился, в URL опечатка. Человек нажимает на такую ссылку и вместо нужной страницы видит сообщение об ошибке. Ту же ссылку называют нерабочей, сломанной или мертвой, разницы между этими словами нет.

Опасность не в самой 404-й странице: она есть у любого сайта, и это нормально. Опасность в объеме: когда битых ссылок десятки, сайт теряет и посетителей, и ссылочный вес, который эти ссылки должны были передавать.

Это и видит человек вместо страницы, за которой шел. Одна такая страница на сайте нормальна, десятки — уже потеря трафика

Откуда берутся битые ссылки

Удалили страницу. Сняли товар с продажи, закрыли услугу, почистили блог. Ссылки на нее остались в других статьях, в меню и в старых письмах.

Сменили адрес. Переделали структуру, переименовали раздел, перевели URL на латиницу. Старые адреса перестали существовать, редиректы не поставили.

Опечатка при вставке. Лишний пробел, потерянный слэш, скопированный из черновика адрес. Самая частая причина при ручной верстке.

Чужой сайт закрылся. Внешние ссылки на источники, сервисы и партнеров живут своей жизнью. Pew Research Center проверил почти миллион страниц: из существовавших в 2021 году за два года стала недоступна каждая пятая [1].

Переезд на HTTPS или новый домен без полной карты соответствий. При переезде битые ссылки появляются сотнями сразу.

Чем битые ссылки вредят сайту

Люди уходят. Человек пришел из поиска, нажал на ссылку внутри статьи, попал на страницу с ошибкой и вернулся в выдачу. Возврат в выдачу — плохой поведенческий сигнал: поисковик видит, что ответа на сайте не нашлось.

Вес не доходит. Внутренняя ссылка передает вес принимающей странице, а ее текст показывает поисковику, чему эта страница релевантна. Битая не передает ничего и никому.

Робот тратит обход впустую. У каждого сайта есть краулинговый бюджет — лимит на количество страниц, которые робот обходит за раз. Битые адреса этот лимит расходуют, и до новых страниц робот доходит позже.

Внешние битые ссылки подрывают доверие. Статья, ссылающаяся на три несуществующих источника, выглядит написанной давно и заброшенной.

Битые ссылки — это часть технического состояния сайта, и поисковики оценивают его отдельно от текстов. У Google это набор сигналов под общим названием page experience: Core Web Vitals, HTTPS, мобильное отображение, отсутствие навязчивых всплывающих окон. Единого фактора «опыт страницы» у Google нет, в документации сказано прямо: единого сигнала не существует [2]. Но сотни несуществующих адресов в индексе, пустые дубли с кодом 200 и растраченный краулинговый бюджет — это тот же технический слой, и поисковику он виден.

У Яндекса публичного аналога page experience нет, но есть «Диагностика сайта» в Вебмастере: ошибки 4xx и 5xx выводятся там отдельным списком, и по ним же приходят уведомления.

Как найти битые ссылки

Первыми смотрят отчеты поисковиков: они бесплатны и показывают то, что видел сам робот.

Яндекс Вебмастер. Раздел «Индексирование», дальше «Страницы в поиске» и «Исключенные страницы», фильтр по коду ответа 404. Показывает адреса, которые робот пробовал открыть и не смог. Это не догадка, а то, что реально видел поисковик.

Google Search Console. Раздел «Индексирование», дальше «Страницы» и категория «Не найдено (404)». То же самое со стороны Google, и списки в двух системах отличаются.

Эти два отчета закрывают вопрос «какие битые адреса знает поиск». Но они не покажут ссылки, по которым робот еще не ходил. Для полной картины сайт сканируют целиком.

Сканер сайта в engine.seointellect.ru [3]. Обходит сайт и отдает коды ответа по всем найденным адресам. Рядом лежит проверка ссылок [4] для списка конкретных URL.

Netpeak Spider [5] и Screaming Frog [6]. Настольные краулеры. Находят нерабочие адреса и, что важнее, показывают, с каких именно страниц на них ссылаются. Без этого исправлять нечего: вы знаете, что ссылка битая, но не знаете, где ее править.

Ahrefs [7]. Работает по внешним ссылкам: и битым исходящим, и битым входящим с чужих сайтов. Оговорка: оплата подписки из России недоступна с 2022 года, так что рассчитывать на него как на рабочий инструмент российской команде не стоит.

Расширения браузера. Check My Links, Broken Link Checker. Проверяют одну открытую страницу. Годятся, чтобы быстро посмотреть свежую статью перед публикацией, не более.

Плагины CMS. На WordPress это Broken Link Checker. Удобно, но следите за нагрузкой: постоянная фоновая проверка на большом сайте ощутимо тормозит хостинг.

Что делать с каждой находкой

Решений четыре, и выбор зависит от того, что случилось со страницей.

Решение выбирают по тому, что случилось со страницей. Кода ответа для этого мало: 404 стоит у всех четырех случаев

Ссылка ведет на существующую страницу, но с опечаткой. Исправить адрес в том месте, откуда ссылаются. Самый частый и самый дешевый случай.

Страница переехала. Поставить 301 со старого адреса на новый. Ссылка при этом продолжит работать откуда угодно, включая чужие сайты и закладки.

Страница удалена, замены нет и не будет. Убрать ссылку. Не заменять на ближайшую по смыслу и не вести на главную: человек ищет конкретное, а попадает не туда, и это раздражает сильнее 404.

Страница удалена, но приводила трафик. Проверьте по аналитике, сколько она приносила. Если много, восстановить содержимое по тому же адресу дешевле, чем терять этот трафик.

Ставить 301 на всё подряд не надо. Цепочки перенаправлений замедляют обход и сами становятся источником проблем: адрес А ведет на Б, Б на В, В на удаленную страницу. Редирект уместен там, где у страницы есть настоящий преемник.

Порядок работы, если ссылок много

На сайте с историей их обычно не десять, а несколько сотен. Разбирать всё подряд неэффективно.

1. Выгрузить полный список сканером, с указанием страниц-источников.
2. Отсортировать по трафику страниц-источников. Битая ссылка в статье с тысячей визитов в месяц и битая ссылка в архивной записи за 2019 год — задачи разной срочности.
3. Отдельно вынести ссылки из меню, футера и сквозных блоков. Одна такая ссылка стоит на всех страницах сразу, а чинится одной правкой шаблона.
4. Разобрать первую сотню по трафику, дальше по мере сил.
5. Поставить повторное сканирование раз в квартал. Битые ссылки накапливаются сами, без вашего участия.

Третий шаг отнимает меньше всего времени и снимает больше всего битых ссылок, и его чаще всего пропускают.

Как устроена полезная 404-я

Совсем без 404-й не обойтись, поэтому ее делают полезной.

Внешний вид и код ответа проверяют отдельно: страница может выглядеть правильной и при этом отдавать 200

• Понятный текст, что страницы нет, без шуток и без пустого экрана.
• Поиск по сайту.
• Ссылки на главные разделы.
• Тот же шаблон, что и у остальных страниц: шапка, меню, контакты.
• Код ответа именно 404, а не 200. Это проверяют отдельно: если сервер отдает 200 на несуществующий адрес, поисковик считает такие страницы настоящими и заносит в индекс мусор. Ошибка распространенная и невидимая глазом.

Что проверить прямо сейчас

Проверка занимает пять минут и не требует инструментов. Откройте на своем сайте заведомо несуществующий адрес: допишите к домену произвольный набор букв. Должна открыться нормальная 404-я. Дальше проверьте код ответа любым сервисом проверки заголовков: должно быть 404, а не 200 и не 302.

Узнаваемая 404-я ВКонтакте. Пример того, чего на такой странице не хватает: ни поиска по сайту, ни ссылок на разделы, ни шапки

Потом зайдите в Вебмастер и посмотрите число исключенных страниц с кодом 404. Если оно трехзначное, работа есть, и начинать надо со сквозных блоков.

Не всякая ошибка — битая ссылка

Сканер выдает коды ответа, и путать их не надо: чинятся они по-разному.

200 на несуществующем адресе. Часть CMS при неверном URL отдает страницу «ничего не найдено» с кодом 200. Глазом это выглядит как обычная 404-я, а поисковик видит нормальную страницу и заносит ее в индекс. Так на сайте заводятся сотни пустых дублей. Проверяется в одну минуту любым сервисом проверки заголовков и лечится настройкой сервера.

Цепочки редиректов. Отчет показывает 301, всё выглядит хорошо, но адрес А ведет на Б, Б на В, а В отдает 404. Формально битой ссылки нет, фактически человек никуда не попадает. Сканер показывает конечный код после всех переходов, и смотреть надо именно на него.

В отчете у первого адреса стоит 301, и битой ссылки формально нет. Человек в конце цепочки всё равно попадает на 404

Внешние ссылки

Внутренние ссылки в вашей власти, внешние нет. Сайт источника закрылся, статья переехала, сервис сменил домен.

Проверять раз в полгода все исходящие ссылки в статьях. Особенно там, где вы ссылаетесь на документацию сервисов: она переезжает регулярно.

Не удалять ссылку молча, если источник исчез. Если на нем стояло утверждение с цифрой, вместе со ссылкой пропадает основание для этой цифры. Ищут новый источник, а если его нет, убирают из текста и цифру.

Битые входящие ссылки — это упущенный вес. Кто-то сослался на вашу статью, а вы потом сменили адрес. Ссылка ведет в 404, вес не доходит. Такие адреса видно в отчете Вебмастера по внешним ссылкам, а при наличии доступа и в Ahrefs; лечится 301-м на актуальную страницу. Это самая доходная часть работы с битыми ссылками, потому что вес уже заработан и его остается вернуть на рабочую страницу.

Пример: чистка битых ссылок у дилерского центра

Данные взяты для примера. Порядок разбора тот же, что на реальном проекте. Сайт дилерского центра, восемь лет, около четырех тысяч страниц: карточки автомобилей, комплектации, сервис. За это время дважды меняли структуру каталога.

Что нашли. Сканер отдал 612 адресов с кодом 404. Первым делом эту цифру разложили на группы.

Самая длинная группа потребовала одного действия, самая короткая дала самый заметный эффект

Из 612 адресов 380 оказались карточками проданных автомобилей, на которые никто не ссылается: они существовали только в старой карте сайта. Их не трогали вовсе, только удалили устаревший файл карты.

Еще 140 адресов пришли из архивных статей блога 2018–2020 годов и вели на удаленные категории. Разбирали не поштучно, а группой: у большинства нашлась категория-преемник, на нее поставили 301 массово по шаблону адресов.

48 адресов оказались опечатками в ручных ссылках внутри статей. Правились руками, по списку страниц-источников из сканера.

Четыре ссылки стояли в футере, то есть на всех четырех тысячах страниц сразу. Хватило одной правки шаблона, и она дала самый заметный эффект за весь разбор.

Оставшиеся 40 были внешними ссылками на закрывшиеся сервисы. Часть заменили действующими аналогами, часть убрали вместе с абзацем, потому что абзац был про сервис, которого нет.

Что из этого следует. Из 612 «ошибок» реальной работы было на день. Трехзначная цифра в отчете почти всегда состоит из нескольких групп, и разбирать ее надо группами, а не строками.

Как не заводить битые ссылки снова

Правило первое: удаляя страницу, сразу решайте, что с ее адресом. Вариантов три: 301 на преемника, 410, если преемника нет, и восстановление, если страница приносила трафик. Отложить это решение значит завести битую ссылку.

Правило второе: меняя структуру, готовьте карту соответствий заранее. Старый адрес и новый адрес, строкой на каждую страницу. Делается до переезда, а не после.

Правило третье: сканируйте раз в квартал. Это двадцать минут работы, и они ловят накопившееся до того, как оно станет проблемой на день.

Частые вопросы

Источники

1. Pew Research Center. When Online Content Disappears, 17 мая 2024
2. Google Search Central. Understanding page experience in Google Search results
3. engine.seointellect.ru. Сканер сайта
4. engine.seointellect.ru. Проверка ссылок
5. Netpeak Spider
6. Screaming Frog SEO Spider
7. Ahrefs. Broken Link Checker