Индексабельность страниц со ссылками
Закупили сотню ссылок, а рост не пошёл. Одна из частых причин — часть страниц-доноров вообще не может попасть в индекс: закрыта от робота, отдаёт ошибку или является копией другой страницы. Это проверяется массово и быстро.
Александр Евстигнеевмаркетолог, сертифицированный специалист Яндекс Директ Про
Причины неиндексируемости: закрыта в robots.txt, meta robots noindex или заголовок X-Robots-Tag (иногда — только для Google), страница — неканоническая копия (вебмастер прислал не тот URL), код ошибки при «нормальном» виде. Проверяйте краулером с регулярными выражениями: есть ли ссылка, её атрибуты (nofollow, sponsored, ugc), alt у ссылок-картинок. Индексацию проверяйте сервисами (кэша Google больше нет). Ускорение — недорогие индексаторы или ссылки на ссылки. Пропавшие ссылки — возврат денег через биржу. Проверьте и свой сайт: битые страницы со ссылками — редирект, UTM-адреса, закрытые в robots, — редирект на чистый URL.
Почему страница не индексируется
| Причина | Как обнаружить |
|---|---|
| Запрет в robots.txt | Краулер с учётом robots |
| meta robots / X-Robots-Tag | Проверка кода и заголовков, в том числе для отдельных ботов |
| Неканоническая копия | Canonical ведёт на другой URL |
| Ошибочный код ответа | Статус 4xx/5xx при видимой странице |
| Редиректы | Цепочка до конечного адреса |
Массовая проверка
- Загрузить список URL с купленными ссылками в краулер.
- Включить следование редиректам и учёт canonical.
- Регулярками извлечь: ссылку на ваш домен, атрибут rel, alt картинки.
- Отфильтровать проблемные страницы.
- Проверить индексацию оставшихся сервисами.
Ниже 10 типичных ситуаций с разными типами доноров: что проверить краулером и что делать с результатом.
Как использовать: найдите тип донора из своей закупки, добавьте указанную проверку в настройки краулера и отработайте действие для проблемных URL.
- 1Статейный блогвечные ссылки в статьяхПроверить meta robots и X-Robots-Tag отдельно для YandexBot и Googlebot — запрет бывает только для одного ботаПочему работает. Вебмастер мог закрыть раздел только от Google; в общем отчёте страница выглядит нормальной.
- 2Новостной сайтразмещения в новостяхСверить canonical — ссылку часто дают на AMP- или print-версию, а каноническая страница без вашей ссылкиПочему работает. Неканоническая копия не попадает в индекс, ссылка с неё не учитывается.
- 3Форумссылки в темах и подписяхРегуляркой извлечь rel у ссылки на ваш домен — на форумах по умолчанию стоит nofollow или ugcПочему работает. Движки форумов автоматически вешают атрибуты; платить как за dofollow нет смысла.
- 4Каталог компанийкарточки фирмПроверить robots.txt на запрет карточек и пагинации — каталоги часто закрывают глубокие страницыПочему работает. Карточка на 5-м уровне вложенности, закрытая в robots, роботу недоступна.
- 5Интернет-магазинссылки в обзорах товаровСледовать редиректам и фиксировать конечный код — снятый с продажи товар отдаёт 404 или 301 на категориюПочему работает. Страница с вашей ссылкой исчезла вместе с товаром — это повод для замены или возврата денег.
- 6Региональный порталссылки в городских подборкахПроверить код ответа при «нормальном» виде страницы — шаблон может рисовать контент при статусе 404 или 503Почему работает. Робот смотрит на статус, а не на картинку — страница с ошибкой выпадает из индекса.
- 7Сайт-визиткассылки-картинки (баннеры, логотипы)Извлечь alt у ссылки-картинки — пустой alt значит, что у ссылки фактически нет анкораПочему работает. Для ссылки-картинки анкором служит alt; без него ссылка слабее.
- 8Отраслевое B2B-медиаспонсорские публикацииНайти rel="sponsored" в ссылке и пометить такие размещения отдельно в отчётеПочему работает. Спонсорские ссылки учитываются иначе; цена должна это отражать.
- 9Сайт-агрегатор отзывовссылки в профиле компанииПроверить индексацию URL сервисом проверки — агрегаторы держат в индексе малую долю профилейПочему работает. Страница может быть технически открыта, но не попасть в индекс из-за малой ценности.
- 10Ваш собственный сайтвходящие ссылки на свои страницыПрогнать краулером страницы, на которые ведут ссылки, — битые и UTM-адреса склеить 301-редиректом на чистый URLПочему работает. Ссылка на 404 или на UTM-дубль не передаёт вес основной странице.
Что дальше
- Проблемные ссылки — в поддержку биржи: замена или возврат денег.
- Неиндексированные — индексатор или ссылки следующего уровня.
- Регулярная проверка: ссылки со временем отваливаются.
Частые вопросы
Через сколько работают ссылки?
С сильного донора иногда — на следующий день, обычно — через 1–2 месяца.
Учитывает ли DR nofollow-ссылки?
По словам сотрудников сервиса, DR считается только по dofollow.
Ссылка, которую поисковик не видит, существует только в вашем отчёте.
