Неправильный robots.txt в WordPress съедает до 40% краулингового бюджета, заставляя Googlebot индексировать тысячи бесполезных страниц пагинации и технических дублей. Грамотная настройка этого файла — это не про запреты, а про управление ресурсами поисковика для ускорения индексации конверсионных страниц.
Критический минимум: что закрывать обязательно
Стандартная установка WordPress создает массу технических URL, которые не несут ценности. В первую очередь закрываем /wp-admin/ и /wp-includes/. Ошибка новичков — закрывать /wp-content/plugins/ целиком, что может заблокировать CSS и JS файлы, лишая Google возможности проверить адаптивность сайта (Mobile-Friendly test), что ведет к падению позиций на 5-15% в мобильной выдаче.
Кейс: на интернет-магазине с 5000 товаров из-за открытого доступа к /wp-json/ в индекс попали тысячи JSON-ответов, что размыло релевантность основных категорий. После закрытия этого раздела и очистки индекса через Google Search Console скорость переиндексации новых товаров выросла с 7 дней до 48 часов.
Экспертный вывод: Используйте точечные запреты. Вместо полного бана папки plugins, закрывайте только конкретные пути к админ-панелям плагинов.
Проблема дублей: пагинация и теги
WordPress по умолчанию генерирует бесконечные вариации страниц через параметры запросов (например, ?p=123 или ?s=запрос). Если у вас блог с 100+ статьями, пагинация /page/2/ и далее создает дубли контента. Я рекомендую закрывать параметры сортировки и фильтрации, если они не являются целевыми для SEO. Например, Disallow: /*?orderby=.
Статистика показывает, что сайты с корректно настроенными правилами для параметров URL индексируются на 20-30% быстрее, так как робот не тратит время на обход 10 вариантов одной и той же страницы товаров с разной сортировкой.
Экспертный вывод: Все, что начинается с вопросительного знака (кроме UTM-меток, которые обрабатываются иначе), должно быть под пристальным контролем. Лишние параметры — главный враг краулингового бюджета.
Sitemap в robots.txt: зачем это нужно
Указание прямой ссылки на Sitemap.xml в конце файла robots.txt сокращает время обнаружения новых страниц. В связке с SEO оптимизация сайтов на WordPress это дает синергию: робот сразу видит иерархию сайта, не полагаясь только на внутренние ссылки. Оптимальный размер одной карты сайта — до 50 000 URL; при превышении этого лимита необходимо использовать индексный файл с несколькими дочерними картами.
Пример: при запуске каталога на 10 000 позиций добавление Sitemap в robots.txt сократило период «полного обхода» сайта с 14 до 3 дней, что позволило быстрее зафиксировать первые конверсии из поиска.
Экспертный вывод: Всегда указывайте абсолютный путь к Sitemap. Это базовый гигиенический минимум, который исключает ошибки при переезде на разные зеркала сайта.
Инструменты настройки: плагины против ручного метода
Многие используют Yoast SEO или Rank Math для правки robots.txt. Это удобно, но опасно: при сбое плагина или обновлении базы данных виртуальный файл может «слететь» или сброситься к дефолтным настройкам. Я предпочитаю создавать физический файл robots.txt в корневом каталоге через FTP/SFTP. Это гарантирует стабильность настроек на 100% независимо от состояния CMS.
Сравнение: виртуальный файл (через плагин) удобен для правок за 10 секунд, но физический файл работает быстрее (минимальный отклик сервера) и надежнее при критических ошибках WordPress (White Screen of Death), когда плагины перестают работать, а robots.txt продолжает направлять роботов.
Экспертный вывод: Для серьезных проектов с трафиком от 10 000 посещений в месяц только физический файл. Риск потери индексации из-за ошибки плагина слишком высок.
Вывод
Идеальный robots.txt для WordPress — это баланс между жестким ограничением технического мусора и полной открытостью для визуального рендеринга. Начните с создания физического файла в корне сайта, закройте /wp-admin/, /wp-json/ и параметры сортировки, обязательно добавьте ссылку на Sitemap. Избегайте полной блокировки /wp-content/, чтобы не убить мобильное SEO. Помните: robots.txt не удаляет страницы из индекса (для этого нужны теги noindex), он лишь управляет процессом обхода.
