Как запретить индексацию архивов авторов и дат в WordPress

Архивы авторов и дат в WordPress часто попадают в индекс без пользы для сайта. На небольшом блоге это может быть незаметно, а на проекте с несколькими авторами и длинной историей публикаций такие страницы начинают конкурировать с основными рубриками и записями. Проблема обычно не в самом архиве, а в том, что он создаёт много однотипных URL с коротким или повторяющимся контентом.

Если задача состоит именно в том, чтобы убрать архивы из поиска, лучше сначала понять, что у вас уже работает: SEO-плагин, тема, кастомный код или всё сразу. Иначе легко получить ситуацию, когда noindex стоит в одном месте, а canonical ведёт в другом, либо архивы остаются доступны в sitemap.

Когда архивы авторов и дат действительно стоит закрывать

Не все архивы нужно отключать автоматически. Для новостного сайта архивы по датам иногда полезны пользователю, а страницы авторов могут работать как витрина экспертизы. Но если на архиве автора нет нормального описания, а архив даты просто дублирует ленту записей, индексировать их обычно нет смысла.

Типичные признаки лишних архивов

• страницы автора содержат только список записей без уникального текста;
• архивы дат повторяют те же карточки, что и главная или рубрики;
• в Search Console появляются URL архивов, но кликов по ним почти нет;
• в sitemap попадают страницы, которые вы не хотите продвигать;
• поисковик выбирает архив вместо более полезной страницы рубрики.

Диагностика: где именно возникает индексация

Перед правкой проверьте три места: мета-теги на странице, sitemap и внутренние ссылки. Если архив уже в индексе, одного изменения в robots.txt обычно недостаточно — поисковик может продолжать держать URL в базе, пока не увидит явный сигнал noindex или пока страница не выпадет естественным образом.

Что проверить вручную

• исходный код архивов автора и даты: есть ли meta name="robots";
• canonical: не указывает ли он на сам архив или на другую страницу;
• sitemap.xml: присутствуют ли там архивы;
• robots.txt: не закрывает ли он страницу слишком грубо, если вам нужен быстрый вывод из индекса;
• настройки SEO-плагина: не переопределяет ли он код темы.

Как закрыть архивы через SEO-плагин

Если на сайте уже стоит SEO-плагин, это самый безопасный путь. В большинстве случаев достаточно отключить индексацию архивов авторов и дат в настройках таксономий и архивов. Плюс этого подхода в том, что плагин обычно сам проставляет noindex, корректный canonical и убирает URL из sitemap.

Если вы используете Clearfy Pro, в нём есть инструменты для чистки и управления дублями, но важно не включать всё подряд. Сначала проверьте, как именно он меняет мета-теги и sitemap, а потом уже оставляйте только нужные опции.

Решение без плагина: код для functions.php или мини-плагина

Если нужен точечный контроль, можно добавить код в дочернюю тему или в небольшой mu-plugin. Ниже пример, который ставит noindex,follow на архивы авторов и дат, а также убирает их из sitemap, если ваша тема или SEO-слой не делают этого сами.

<?php
add_filter('wp_robots', function ($robots) {
    if (is_author() || is_date()) {
        $robots['noindex'] = true;
        $robots['follow']  = true;
    }

    return $robots;
});

add_filter('wp_sitemaps_posts_query_args', function ($args, $post_type) {
    return $args;
}, 10, 2);

add_filter('wp_sitemaps_enabled', function ($enabled) {
    return $enabled;
});

Первый фильтр — основной. Он добавляет robots-правило на архивные страницы. Второй и третий фрагменты здесь показаны как ориентир: в реальном проекте sitemap обычно настраивают через SEO-плагин или отдельные фильтры конкретной реализации, а не через универсальный код. Если у вас нет задачи переписывать sitemap вручную, лучше не усложнять.

Если нужно именно убрать архивы из sitemap в рамках WordPress core, стандартного универсального фильтра для авторских и датированных архивов нет. Поэтому на практике чаще используют SEO-плагин или отключают нужные типы архивов в его настройках.

Когда лучше править robots.txt, а когда не стоит

robots.txt полезен, если нужно ограничить обход, но он не заменяет noindex. Для уже проиндексированных архивов это важный нюанс: поисковик может знать URL, даже если не может его повторно обойти. Поэтому robots.txt имеет смысл как дополнительная мера, а не как единственный способ.

User-agent: *
Disallow: /author/
Disallow: /2024/
Disallow: /2025/

Такой вариант допустим только если вы точно понимаете структуру постоянных ссылок. Если у вас архивы дат формируются по другому шаблону, жёсткие правила могут случайно закрыть нужные разделы. Для большинства сайтов безопаснее управлять индексацией через noindex и sitemap, а robots.txt использовать только после проверки.

Проверка результата после внедрения

После изменения не ограничивайтесь просмотром страницы в браузере. Нужно проверить, что сигнал дошёл до поисковика и не конфликтует с другими настройками.

• Откройте архив автора и дату в режиме просмотра исходника и найдите meta name="robots" или заголовок X-Robots-Tag, если он используется.
• Проверьте, что URL исчез из sitemap или больше не генерируется SEO-плагином.
• В Google Search Console отправьте URL на повторную проверку через инспекцию страницы.
• Посмотрите, не остались ли внутренние ссылки на архивы в меню, хлебных крошках или блоках «Автор».
• Убедитесь, что канонический URL указывает на саму страницу архива только если это действительно нужно.

Если архив всё ещё в индексе, это не всегда ошибка. Поисковику нужно время, чтобы переобработать страницу. Но если при повторной проверке вы видите index вместо noindex, значит код темы, SEO-плагин или кеш отдают старую версию.

Частые ошибки и как их исправить

Кеш отдаёт старые мета-теги

После правки архив может продолжать отдавать старый robots-тег из кеша страницы или CDN. Очистите серверный кеш, кеш плагина и, если есть, кеш на уровне Cloudflare или другого прокси.

SEO-плагин перезаписывает ваш код

Если в теме уже есть фильтр wp_robots, а SEO-плагин генерирует собственные правила, итоговый HTML может отличаться от ожидаемого. В таком случае оставьте только один источник правды: либо настройки плагина, либо код.

robots.txt закрывает страницу, но не убирает её из индекса

Это частая ошибка. Для удаления из индекса нужен явный noindex или последующая естественная переобработка страницы после снятия ссылок и изменения контента.

Сломан canonical

Иногда архивы авторов и дат канонизируются на главную или на рубрику без явной причины. Это мешает поисковику понять, что вы хотите сделать с URL. Проверьте, не генерирует ли тема собственный canonical-фильтр.

Практические советы по безопасности и производительности

Если вы вносите код вручную, не редактируйте родительскую тему напрямую. Используйте дочернюю тему или mu-plugin, чтобы обновление не затёрло правки. Для небольших SEO-правок mu-plugin часто удобнее: он загружается стабильно и не зависит от активной темы.

Не добавляйте тяжёлые проверки в каждый запрос. Для задачи с архивами достаточно стандартных условных тегов WordPress: is_author() и is_date(). Это дешёвая по ресурсам логика, и её не нужно усложнять запросами к базе или внешними API.

Если на сайте много авторов, подумайте не только о закрытии архивов, но и о наполнении страниц автора полезным контентом: краткой биографией, ссылками на соцсети, специализацией. Тогда часть архивов можно оставить открытыми и не терять потенциально полезные страницы.

Короткий чек-лист перед публикацией изменений

• Проверил, нужен ли архив авторов или дат пользователю.
• Убедился, что noindex стоит именно на нужных URL.
• Проверил sitemap и внутренние ссылки.
• Очистил кеш сайта и CDN.
• Отправил URL на повторную проверку в Search Console.
• Проверил, не конфликтует ли настройка с SEO-плагином или темой.

Если у вас уже есть SEO-слой на сайте, не усложняйте решение кодом без необходимости. Но если нужен точечный контроль, фильтр wp_robots и аккуратная проверка sitemap обычно закрывают задачу без побочных эффектов.