Одна из болей SEO-специалистов, в том числе и моя, — это наплыв нежелательного трафика от ненастоящих пользователей, который рушит все показатели и обваливает позиции по многим запросам. Официально Яндекс не признает эту проблему, поэтому решать ее приходится своими силами. В статье я расскажу, что такое атака ботов и как поставить защиту от них на свой сайт.
Не все фейковые переходы одинаково вредны
Если вы сравнили в Метрике два отчета: «С роботами» и «Без» и увидели, что небольшое число первых визитов у вас на ресурсе было — не пугайтесь. Скорее всего, это поисковые краулеры ходили по страницам, фиксировали изменения и добавляли в свою базу данных.
Они не опасны, а даже наоборот — полезны. Проверяют качество портала, повышают его видимость и помогают продвижению в выдаче. Без них оценить уровень SEO-работ было бы невозможно.
Но в этой статье мы поговорим о других, вредоносных, видах. В целом, это алгоритмы, которые развиваются с помощью машинного обучения. Они могут направляться конкурентами с целью накрутки поведенческих факторов (а мы знаем, что поисковики этого очень не любят и накладывают фильтры), или же это результат черного SEO от недобросовестных специалистов. Возможен и третий вариант: у вас на площадке проходит обучение роботов. В любом случае, на продвижении это скажется плохо, поэтому защита тут точно не помешает.
Ботовый трафик
Как я уже упомянула выше, он бывает либо хорошим, либо плохим. Но давайте разберемся подробнее.
Поисковые краулеры
Это алгоритмы Яндекса, Google и других поисковиков. Разновидностей довольно много: и основные, и для мобильной версии, и для картинок. Их работа — искать в сети новые или измененные страницы, сканировать содержимое, оценивать его качество и индексировать.
Таких ботов мы приветствуем и блокировку на сайте на них ставить не будем.
SEO-боты
Практически ничего плохого вам не сделают. Это программы сервисов таких, как Labrika, Be1 и других инструментов, помогающих нам проверять площадки на ошибки.
Единственная опасность заключается в нагрузке на ресурс. Но некоторые парсеры дают в настройках возможность изменить частоту сканирования.
Для накрутки поведенческих факторов
Такие мероприятия обычно проводятся в рамках «серого» или «черного» SEO. На портал массово запускают алгоритмы, имитирующие человеческое поведение. Они не торопясь просматривают топики, совершают внутренние переходы, кликают на кнопки. То есть показывают поисковым системам заинтересованность в контенте, отчего те решают, что содержимое качественное и имеет право на более высокие позиции.
Обратная ситуация: программы запускают конкуренты, чтобы сбить вас с первых строчек выдачи. Здесь совершаются действия: проводится мало времени на сайте, и тем самым увеличивается процент отказов. В этом случае нам нужно ставить защиту от накрутки ПФ ботами.
Парсеры
Занимаются сбором контактных данных и адресов со страниц. Но среди них бывают и воришки, копирующие ваш контент для публикации на других ресурсах. В этом случае уникальность текстов снизится, что отразится на ранжировании.
Ситуация неоднозначная: поисковики считают первоисточником площадку, где содержимое быстрее проиндексировалось. Но если с индексацией у вас проблемы, то роботы вполне могут сделать свое дело.
Читайте также
10 способов защитить сайт от копирования: как предотвратить воровство контента
Для поиска уязвимостей
Их задача выявлять слабые места на сайте. Только одни боты понесут информацию его владельцу, а другие — третьим лицам. Опасность заключается в том, что данные часто используют для взлома многостраничника.
Клик-боты
Ведут себя как реальные пользователи, но не для накрутки ПФ, а уже в мошеннических целях. Они скликивают рекламу, ссылки партнеров и прочие элементы, за которые владелец портала получает деньги.
Например, если на ресурсе есть баннеры с оплатой за клики или партнерка по CPC программе, то из-за «нашествий» он попадет в черный список и останется без дохода. Даже если этого не произошло, нежелательные визиты сильно портят статистику и не дают корректно оценить эффективность рекламных кампаний или маркетинговой стратегии. Таких ботов на сайте тоже нужно заблокировать.
Роботы загрузки
Скачивают файлы с вашего портала, например, гайды, используемые в качестве лид-магнитов. Это может исказить аналитику. Если вы сравните количество скачиваний с числом переходов по партнерским ссылкам то, скорее всего, посчитаете, что материал нужно переделывать. Но если произошел наплыв, то ваши старания не всегда улучшат ситуацию.
Спамеры
Головная боль продажников и владельцев бизнеса. Такие алгоритмы заполняют формы обратной связи бессмысленным или спамным содержимым, публикуют комментарии и даже отправляют письма по e-mail.
От их работы остается один сплошной негатив и подпорченная репутация площадки. А специалистам приходится модерировать комментирование и просматривать бесполезные спам-письма и заявки.
Читайте также
Накрутка ПФ — что такое поведенческие факторы и как накручивать SEO показатель переходов на сайт
Как понять, что боты атакуют: основные признаки
Поверьте, точно это заметите. И вот по каким метрикам.
Процент отказов на сайте
Вы регулярно занимаетесь порталом, наполняете его качественным контентом и оптимизируете странички под релевантные запросы. Все показатели в норме, а трафик стабильно растет. Но тут происходит переломный момент, и процент отказных визитов со среднего значения в 10-15% вырос до критических 50-60%. Это явный признак на того, что пора принимать меры. Такой наплыв отрицательно повлияет на поведенческие факторы, а позиции начнут сильно проседать.
На скриншоте показано, как в течение 4-х дней уровень со средних 16% вырос до 54,5%. Вероятно, именно в этот период и произошла «атака».
Но тут следует оговориться: посещения роботов не всегда повышают статистику отказов. Иногда алгоритмы максимально точно имитируют поведение реальных пользователей и тем самым даже повышают вам все показатели. Происходит это потому, что ваша площадка стала тренировочным полем для ботов, после чего разработчик начнет использовать их уже в своих целях.
Поэтому если вы заметили, что количество заходов подозрительно увеличилось, но отказы, а также глубина просмотра и другие метрики в норме или даже повысились, не спешите ставить защиту. Ситуация может сыграть в вашу пользу, но лучше держать ее под контролем.
Рост визитов с конкретных устройств
Когда я столкнулась с проблемой атаки ботов на сайт, первое, что я решила делать, — посмотреть в Метрике отчеты по устройствам. Я увидела такую картину: много отказов со смартфонов с операционной системой Android.
Трафик из определенных регионов
Конечно, это нормальная практика, когда ресурс продвигается, например, по Волгограду, а визиты есть из разных городов России. Но если определенный процент посещений стабильно приходится на Китай, США, Германию и Финляндию, такое заставляет задуматься.
Помимо этого часто наплыв идет из Москвы (особенное, если это не ваше целевое место). Если у вас все в порядке с региональностью продвижения, то есть вы установили город в Вебмастере и Яндекс.Бизнесе, а также используете стратегию Local SEO в оптимизации контента, но Метрика показывает большое количество московских заходов, то это звоночек.
Страницы входа
Вариантов здесь несколько: роботы выбрали одну или 2-3-10 страничек, которые массово посещают. При этом по другим URL вы видите стабильную динамику трафика. В моем случае в разрезе за 3 месяца это выглядело так:
Отчеты роботности в Метрике
Алгоритмы Яндекса настроены так, что определенную долю подобного трафика он зафиксирует по поведению и другим техническим параметрам.
- где все было хорошо;
- где ситуация, на ваш взгляд, ухудшилась.
Ведь возможно на площадке проводились активные работы, поэтому краулеры были у вас частыми гостями. А я на своем проекте в который раз убедилась, что это не они.
Еще один момент: зайдите в отчет Роботы. Здесь вы найдете данные, какие именно алгоритмы вас проведывали.
Как защитить сайт от накрутки посещаемости ботами
- Web Application Firewall. Это файрвол, представляющий собой набор фильтров. Они обнаруживают и блокируют сетевые атаки на веб-приложения.
- Средства от DDoS-атак.
- Антибот-сервисы.
Наибольшую эффективность показывает именно последний способ. Причем среди таких программ есть и готовые решения (о них мы поговорим дальше), и индивидуальные средства (CAPTCHA или использование «куков»). Последние содержат данные о репутации посетителей, что позволит вам сделать вывод, стоит ли выделять бюджет на решение проблемы.
Читайте также
Розыгрыши в Телеграмм: как сделать и провести конкурс для продвижения канала
ТОП-3 сервиса для защиты от роботов на сайте
Если раньше в приоритете была разработка собственноручных методов, то сейчас антибот-сервисы шагнули далеко вперед и продолжают развиваться. Давайте посмотрим наиболее популярные из них.
CloudFlare
Здесь есть как бесплатные, так и платные инструменты.
- Разрешить входы хорошим роботам. Сюда включены поисковые краулеры, способствующие индексации и корректному ранжированию.
- Установка капчей для визитов с IPv6 или по HTTP-протоколу. Это посещения, которые в основном привыкли использовать для накрутки и парсинга содержимого.
- JS-проверка на протоколы ниже http/2. Тоже позволяют заблокировать вредных ботов на сайте, в том числе и таких, как DDoS.
- Запретить доступ на площадку из других стран. Но здесь будьте осторожнее, так как есть риск упустить долю целевых посетителей. Но если ваш бизнес ограничен конкретным регионом, то правило стоит применить.
- Блокировать парсеров. Это алгоритмы сервисов, таких как Labrika, Арсенкин и др. Их опасность в том, что предоставляют дополнительную нагрузку на портал. Конечно, без них технический аудит сделать довольно сложно, особенно если у вас большой ресурс. Но в Cloudflare есть опция выставления исключения для конкретных инструментов.
- иногда IP сервиса может банить РКН;
- не спасет вас от накрутки поведенческих факторов.
AntiBot
Еще один метод, как бороться с ботами на своем сайте. При посещении страницы пользователь проходит автоматическую проверку. Если сервис заметил что-то подозрительное, он отправляет посетителю простую капчу.
- довольно удобно интегрировать и настроить;
- заглушку легко изменить под стилистику своего ресурса;
- есть защита от скликивания рекламы.
От DDOS-атак этот инструмент не поможет.
BotFAQtor
Не только блокирует нежелательный трафик, но и сейвит Я.Директ, VK Рекламу, есть функция умной капчи. Интерфейс интуитивно понятен, а отчеты похожи на Яндекс.Метрику.
- источникам входа — органика, внутренние, прямые и т.д.;
- географии;
- сложности ботов.
Также есть возможность точечно избавиться от роботов на сайте, настроив параметры блокировки.
- Может снизить скорость загрузки страниц: так как скрипт внедряется в код площадки, а сама программа проверяет визит на подозрительность в момент, когда у пользователя загружается контент.
- Если не включить капчу, а сервис заподозрит посетителя в «ботности», то тот никак не сможет попасть на ресурс: в этом случае нужно регулярно мониторить отчеты и корректировать настройки блока, так как есть вероятность упустить целевые посещения.
Можно приобрести пакетный тариф, но если лимитов не хватит, инструмент предоставляет возможность их докупить.
Заключение
Бороться с роботами на сайте нужно, но, увы, ни один инструмент не избавит вас от этой проблемы на 100%. Важно заниматься оптимизацией площадки, работать над качеством контента и юзабилити и тем самым улучшать поведенческие факторы. И тогда у поисковиков не будет причины понижать вас в выдаче или накладывать фильтры и санкции. А вы сталкивались с такой проблемой? Делитель опытом в комментариях!
