Убийцы краулингового бюджета: Какие фильтры и сортировки опаснее всего для индексации агрегаторов
Сайты-агрегаторы (маркетплейсы, доски объявлений, каталоги недвижимости и вакансий) — это гиганты веб-пространства. Их главная ценность для пользователя заключается в огромном выборе, который невозможно переварить без удобной системы фильтрации и сортировки (фасетной навигации).
Однако то, что делает агрегатор удобным для человека, может стать настоящим кошмаром для поисковых роботов (Googlebot, Yandexbot). Неправильно настроенные фильтры генерируют миллионы мусорных страниц, приводят к исчерпанию краулингового бюджета (лимита страниц, которые бот может обойти за раз) и размытию релевантности сайта. Подробнее о масштабном продвижении таких структур можно прочитать, изучив данный источник, где детально разобраны особенности SEO-оптимизации крупных проектов.
В этой статье мы разберем, какие именно фильтры и параметры сортировки представляют наибольшую угрозу для SEO-здоровья агрегатора.
1. Параметры сортировки (Сначала дешевые, по алфавиту, по популярности)
Почему это опасно:
Сортировка никак не меняет содержимое страницы (ассортимент товаров или услуг остается прежним), она меняет лишь порядок вывода элементов. Если страница имеет URL вида category?sort=price_asc, поисковик видит её как отдельный документ.
В результате создаются 100% дубликаты основной категории. Если у вас 5 вариантов сортировки, количество страниц на сайте умножается на 5.
Вердикт: Это один из самых опасных параметров. Сортировки должны быть строго закрыты от индексации (через robots.txt, тег canonical на основную категорию или реализацию через AJAX без изменения URL).
2. Ползунки цен и числовых характеристик (Слайдеры)
Почему это опасно:
Фильтр по цене, где пользователь может вписать любые значения (например, от 1 543 руб. до 12 876 руб.), генерирует бесконечное множество URL-адресов.
Каждый шаг ползунка:
?min_price=100&max_price=500?min_price=101&max_price=500?min_price=100&max_price=499
Создает новую динамическую страницу. Поисковые роботы могут «зависнуть» в этих бесконечных вариациях, потратив весь краулинговый бюджет на сканирование пустых или почти идентичных страниц, так и не добравшись до важных товарных карточек.
Вердикт: Чрезвычайно опасно. Слайдеры и произвольные диапазоны ввода чисел нельзя отдавать на съедение ботам.
3. Множественный выбор и пересечение 3+ параметров
Почему это опасно:
Для SEO полезно создавать посадочные страницы под пересечение 2 параметров (например, «Категория + Бренд» — Смартфоны Apple, или «Категория + Свойство» — Красные платья).
Но когда пользователь или робот начинает кликать все подряд, формируются URL вроде: ?category=obuv&color=black&size=42&brand=nike&material=leather.
Математическая комбинаторика показывает, что из 10 брендов, 5 цветов и 10 размеров можно создать 500 уникальных URL только для одной категории! Это называется эффект «паучьей ловушки» (spider trap).
Вердикт: Очень опасно. Оптимальное решение — разрешать индексацию только семантически ценных пересечений (1-2 ЧПУ-фильтра), на которые есть реальный поисковый спрос (WordStat). Все остальные комбинации из 3 и более параметров должны отдавать noindex или закрываться в robots.
4. Динамические фильтры, ведущие на страницы без результатов
Почему это опасно:
На агрегаторах часто бывают ситуации, когда комбинация узких фильтров не дает результатов (например, «Трехкомнатные квартиры в центре за 10 000 рублей»). Если такие URL формируются и отдают код ответа 200 OK с надписью «Товары не найдены», сайт плодит страницы с «тонким контентом» (thin content).
Поисковики ненавидят такие страницы. Накопив критическую массу пустых страниц в индексе, сайт может попасть под алгоритмические фильтры (например, Panda от Google) за низкое качество контента.
Вердикт: Опасно для ранжирования. Пустые страницы фильтров должны отдавать 404 ошибку (Soft 404 также приемлем в некоторых случаях) или noindex.
5. Сессионные идентификаторы и UTM-метки в фильтрах
Почему это опасно:
Иногда движок агрегатора при использовании фильтра добавляет в URL идентификатор сессии пользователя (например, ?session_id=12345&color=red). Это означает, что при каждом новом заходе бота на сайт этот уникальный URL будет генерироваться заново. Это абсолютный убийца краулингового бюджета, так как количество страниц становится буквально бесконечным.
Вердикт: Смертельно для SEO. Любые трекинговые и сессионные параметры должны жестко отсекаться через директиву Clean-param в Яндекс.Вебмастере и закрываться в robots.txt.
Как спасти агрегатор? (Краткий чек-лист)
Для того чтобы фильтры работали на пользу, а не во вред:
- Сделайте ЧПУ для СЕО-фильтров. То, что имеет спрос, должно иметь красивый URL (
/smartfony/apple/), мета-теги и текст. - Используйте AJAX или паттерн PRG (Post/Redirect/Get). Технические фильтры должны работать без создания новой физической ссылки
<a>, чтобы робот просто не мог по ним перейти. - Настройте
rel="canonical". Страницы с параметрами сортировок или мультифильтров должны каноникализироваться на основную категорию. - Закройте мусор в
robots.txt. ДирективыDisallow: /*?sort=илиDisallow: /*price_min=сэкономят ботам часы времени.
Управление сканированием — это фундамент SEO для сайтов-агрегаторов. Оставив фильтры «как есть» после работы разработчиков, вы рискуете похоронить свой проект под миллионами страниц технического мусора.
