Карина Лозутова
Тимлид в SEO-отделе

Одна из болей SEO-специалистов, в том числе и моя, — это наплыв нежелательного трафика от ненастоящих пользователей, который рушит все показатели и обваливает позиции по многим запросам. Официально Яндекс не признает эту проблему, поэтому решать ее приходится своими силами. В статье я расскажу, что такое атака ботов и как поставить защиту от них на свой сайт.

Не все фейковые переходы одинаково вредны

Если вы сравнили в Метрике два отчета: «С роботами» и «Без» и увидели, что небольшое число первых визитов у вас на ресурсе было — не пугайтесь. Скорее всего, это поисковые краулеры ходили по страницам, фиксировали изменения и добавляли в свою базу данных.

Они не опасны, а даже наоборот — полезны. Проверяют качество портала, повышают его видимость и помогают продвижению в выдаче. Без них оценить уровень SEO-работ было бы невозможно.

Но в этой статье мы поговорим о других, вредоносных, видах. В целом, это алгоритмы, которые развиваются с помощью машинного обучения. Они могут направляться конкурентами с целью накрутки поведенческих факторов (а мы знаем, что поисковики этого очень не любят и накладывают фильтры), или же это результат черного SEO от недобросовестных специалистов. Возможен и третий вариант: у вас на площадке проходит обучение роботов. В любом случае, на продвижении это скажется плохо, поэтому защита тут точно не помешает.

Привлечем целевых пользователей из Яндекс и Google. Работаем над внутренними и внешними факторами ранжирования и видимостью сайта в поисковиках. Вы получаете рост посещаемости и высокий охват среди потенциальных клиентов.
Оставить заявку
Подробнее…

Ботовый трафик

Как я уже упомянула выше, он бывает либо хорошим, либо плохим. Но давайте разберемся подробнее.

Поисковые краулеры

Это алгоритмы Яндекса, Google и других поисковиков. Разновидностей довольно много: и основные, и для мобильной версии, и для картинок. Их работа — искать в сети новые или измененные страницы, сканировать содержимое, оценивать его качество и индексировать.

Таких ботов мы приветствуем и блокировку на сайте на них ставить не будем.

SEO-боты

Практически ничего плохого вам не сделают. Это программы сервисов таких, как Labrika, Be1 и других инструментов, помогающих нам проверять площадки на ошибки.

Александра Лесных
Александра Лесных
Тимлид в SEO-отделе

Единственная опасность заключается в нагрузке на ресурс. Но некоторые парсеры дают в настройках возможность изменить частоту сканирования.

Для накрутки поведенческих факторов

Такие мероприятия обычно проводятся в рамках «серого» или «черного» SEO. На портал массово запускают алгоритмы, имитирующие человеческое поведение. Они не торопясь просматривают топики, совершают внутренние переходы, кликают на кнопки. То есть показывают поисковым системам заинтересованность в контенте, отчего те решают, что содержимое качественное и имеет право на более высокие позиции.

Обратная ситуация: программы запускают конкуренты, чтобы сбить вас с первых строчек выдачи. Здесь совершаются действия: проводится мало времени на сайте, и тем самым увеличивается процент отказов. В этом случае нам нужно ставить защиту от накрутки ПФ ботами.

Парсеры

Занимаются сбором контактных данных и адресов со страниц. Но среди них бывают  и воришки, копирующие ваш контент для публикации на других ресурсах. В этом случае уникальность текстов снизится, что отразится на ранжировании.

Ситуация неоднозначная: поисковики считают первоисточником площадку, где содержимое быстрее проиндексировалось. Но если с индексацией у вас проблемы, то роботы вполне могут сделать свое дело.

10 способов защитить сайт от копирования: как предотвратить воровство контента Читайте также 10 способов защитить сайт от копирования: как предотвратить воровство контента

Для поиска уязвимостей

Их задача выявлять слабые места на сайте. Только одни боты понесут информацию его владельцу, а другие — третьим лицам. Опасность заключается в том, что данные часто используют  для взлома многостраничника.

Клик-боты

Ведут себя как реальные пользователи, но не для накрутки ПФ, а уже в мошеннических целях. Они скликивают рекламу, ссылки партнеров и прочие элементы, за которые владелец портала получает деньги. 

Например, если на ресурсе есть баннеры с оплатой за клики или партнерка по CPC программе, то из-за «нашествий» он попадет в черный список и останется без дохода. Даже если этого не произошло, нежелательные визиты сильно портят статистику и не дают корректно оценить эффективность рекламных кампаний или маркетинговой стратегии. Таких ботов на сайте тоже нужно заблокировать.

Роботы загрузки

Скачивают файлы с вашего портала, например, гайды, используемые в качестве лид-магнитов. Это может исказить аналитику. Если вы сравните количество скачиваний с числом переходов по партнерским ссылкам то, скорее всего, посчитаете, что материал нужно переделывать. Но если произошел наплыв, то ваши старания не всегда улучшат ситуацию.

Спамеры

Головная боль продажников и владельцев бизнеса. Такие алгоритмы заполняют формы обратной связи бессмысленным или спамным содержимым, публикуют комментарии и даже отправляют письма по e-mail. 

Александра Лесных
Александра Лесных
Тимлид в SEO-отделе

От их работы остается один сплошной негатив и подпорченная репутация площадки. А специалистам приходится модерировать комментирование и просматривать бесполезные спам-письма и заявки.

Проверить сайт на фильтры Яндекса: как узнать что домен попал под санкции Читайте также Проверить сайт на фильтры Яндекса: как узнать что домен попал под санкции

Как понять, что боты атакуют: основные признаки

Поверьте, точно это заметите. И вот по каким метрикам.

Процент отказов на сайте

Вы регулярно занимаетесь порталом, наполняете его качественным контентом и оптимизируете странички под релевантные запросы. Все показатели в норме, а трафик стабильно растет. Но тут происходит переломный момент, и процент отказных визитов со среднего значения в 10-15% вырос до критических 50-60%. Это явный признак на того, что пора принимать меры. Такой наплыв отрицательно повлияет на поведенческие факторы, а позиции начнут сильно проседать.

график из метрики

На скриншоте показано, как в течение 4-х дней уровень со средних 16% вырос до 54,5%. Вероятно, именно в этот период и произошла «атака». 

Александра Лесных
Александра Лесных
Тимлид в SEO-отделе

Но тут следует оговориться: посещения роботов не всегда повышают статистику отказов. Иногда алгоритмы максимально точно имитируют поведение реальных пользователей и тем самым даже повышают вам все показатели. Происходит это потому, что ваша площадка стала тренировочным полем для ботов, после чего разработчик начнет использовать их уже в своих целях. 

Поэтому если вы заметили, что количество заходов подозрительно увеличилось, но отказы, а также глубина просмотра и другие метрики в норме или даже повысились, не спешите ставить защиту. Ситуация может сыграть в вашу пользу, но лучше держать ее под контролем.

Рост визитов с конкретных устройств

Когда я столкнулась с проблемой атаки ботов на сайт, первое, что я решила делать, — посмотреть в Метрике отчеты по устройствам. Я увидела такую картину: много отказов со смартфонов с операционной системой Android. 

отчет по источникам

Трафик из определенных регионов

Конечно, это нормальная практика, когда ресурс продвигается, например, по Волгограду, а визиты есть из разных городов России. Но если определенный процент посещений стабильно приходится на Китай, США, Германию и Финляндию, такое заставляет задуматься.

отчет по регионам

Помимо этого часто наплыв идет из Москвы (особенное, если это не ваше целевое место). Если у вас все в порядке с региональностью продвижения, то есть вы установили город в Вебмастере и Яндекс.Бизнесе, а также используете стратегию Local SEO в оптимизации контента, но Метрика показывает большое количество московских заходов, то это звоночек.

Страницы входа

Вариантов здесь несколько: роботы выбрали одну или 2-3-10 страничек, которые массово посещают. При этом по другим URL вы видите стабильную динамику трафика. В моем случае в разрезе за 3 месяца это выглядело так:

пример статистики

Отчеты роботности в Метрике

Алгоритмы Яндекса настроены так, что определенную долю подобного трафика он зафиксирует по поведению и другим техническим параметрам.

Но на всякий случай сравните 2 периода:
  • где все было хорошо;
  • где ситуация, на ваш взгляд, ухудшилась.

Ведь возможно на площадке проводились активные работы, поэтому краулеры были у вас частыми гостями. А я на своем проекте в который раз убедилась, что это не они.

показатели в сервисе аналитики

Еще один момент: зайдите в отчет Роботы. Здесь вы найдете данные, какие именно алгоритмы вас проведывали. 

проверка отчетов в Метрике

Как защитить сайт от накрутки посещаемости ботами

На сегодняшний день есть три системы:
  1. Web Application Firewall. Это файрвол, представляющий собой набор фильтров. Они обнаруживают и блокируют сетевые атаки на веб-приложения.
  2. Средства от DDoS-атак.
  3. Антибот-сервисы.

Наибольшую эффективность показывает именно последний способ. Причем среди таких программ есть и готовые решения (о них мы поговорим дальше), и индивидуальные средства (CAPTCHA или использование «куков»). Последние содержат данные о репутации посетителей, что позволит вам сделать вывод, стоит ли выделять бюджет на решение проблемы.

Раскрутка канала в Дзене: как продвигать статью в Яндексе по новым правилам Читайте также Раскрутка канала в Дзене: как продвигать статью в Яндексе по новым правилам

ТОП-3 сервиса для защиты от роботов на сайте

Если раньше в приоритете была разработка собственноручных методов, то сейчас антибот-сервисы шагнули далеко вперед и продолжают развиваться. Давайте посмотрим наиболее популярные из них.

CloudFlare

Здесь есть как бесплатные, так и платные инструменты.

Но важно не ставить все подряд, а точечно настроить блокировку по следующим правилам:
  • Разрешить входы хорошим роботам. Сюда включены поисковые краулеры, способствующие индексации и корректному ранжированию.
  • Установка капчей для визитов с IPv6 или по HTTP-протоколу. Это посещения, которые в основном привыкли использовать для накрутки и парсинга содержимого.
  • JS-проверка на протоколы ниже http/2. Тоже позволяют заблокировать вредных ботов на сайте, в том числе и таких, как DDoS.
  • Запретить доступ на площадку из других стран. Но здесь будьте осторожнее, так как есть риск упустить долю целевых посетителей. Но если ваш бизнес ограничен конкретным регионом, то правило стоит применить.
  • Блокировать парсеров. Это алгоритмы сервисов, таких как Labrika, Арсенкин и др. Их опасность в том, что предоставляют дополнительную нагрузку на портал. Конечно, без них технический аудит сделать довольно сложно, особенно если у вас большой ресурс. Но в Cloudflare есть опция выставления исключения для конкретных инструментов.
Из недостатков:
  • иногда IP сервиса может банить РКН;
  • не спасет вас от накрутки поведенческих факторов.

AntiBot

Еще один метод, как бороться с ботами на своем сайте. При посещении страницы пользователь проходит автоматическую проверку. Если сервис заметил что-то подозрительное, он отправляет посетителю простую капчу.

Из плюсов:
  • довольно удобно интегрировать и настроить;
  • заглушку легко изменить под стилистику своего ресурса;
  • есть защита от скликивания рекламы.
Из минусов:

От DDOS-атак этот инструмент не поможет.

Мы создаем востребованный контент, который отвечает на запросы потенциальных клиентов, оптимизируем статьи и настраиваем коммерческие триггеры. Вы получаете ощутимый прирост переходов в каталог товаров и услуг из блогового раздела.
Оставить заявку
Подробнее…

BotFAQtor

Не только блокирует нежелательный трафик, но и сейвит Я.Директ, VK Рекламу, есть функция умной капчи. Интерфейс интуитивно понятен, а отчеты похожи на Яндекс.Метрику.

Здесь можно посмотреть наплыв алгоритмов по: 
  • источникам входа — органика, внутренние, прямые и т.д.;
  • географии;
  • сложности ботов.
пример отчета по типам ботности

Также есть возможность точечно избавиться от роботов на сайте, настроив параметры блокировки.

Из недостатков:
  • Может снизить скорость загрузки страниц: так как скрипт внедряется в код площадки, а сама программа проверяет визит на подозрительность в момент, когда у пользователя загружается контент.
  • Если не включить капчу, а сервис заподозрит посетителя в «ботности», то тот никак не сможет попасть на ресурс: в этом случае нужно регулярно мониторить отчеты и корректировать настройки блока, так как есть вероятность упустить целевые посещения.

Можно приобрести  пакетный тариф, но если лимитов не хватит, инструмент предоставляет возможность их докупить.

Заключение

Бороться с роботами на сайте нужно, но, увы, ни один инструмент не избавит вас от этой проблемы на 100%. Важно заниматься оптимизацией площадки, работать над качеством контента и юзабилити и тем самым улучшать поведенческие факторы. И тогда у поисковиков не будет причины понижать вас в выдаче или накладывать фильтры и санкции. А вы сталкивались с такой проблемой? Делитель опытом в комментариях!

Оставить заявку
Оставить заявку
Получите консультацию и персональное предложение по развитию вашего бизнеса.
У меня есть промокод
Заявка отправлена!
Мы свяжемся с вами в ближайшее время.
0 0 голоса
Рейтинг статьи
Подписаться
Уведомить о
0 Комментарий
Межтекстовые Отзывы
Посмотреть все комментарии