Что боты делают на сайте?

InstantCMS 2.X

Какое-то нашествие ботов на сайте. Но зачем это?

#1 12 декабря 2023 в 21:52

Что на сайте могут делать боты? Их до 90% трафика. 500 — из поисковых систем, 3000-4000 — боты. Регистрация на сайте отключена, модуль комментирования отключён, никаких расширений сторонних не ставил. Зачем заходят на сайт?

Из-за них по яндекс метрике (не считает их роботами) выросло количество отказов до 50-60% и упало время пребывания на сайте.

#2 12 декабря 2023 в 21:59

Нагуливают историю похождений и куки

#3 13 декабря 2023 в 08:51

Может перебирают уязвимости? У меня на сайте wordpress таких было 90% от трафика каждый день, видимо, ходят по всем сайтам подряд и сканируют уязвимости, признаки определенных движков, старые уязвимые версии плагинов и т.д. — понял это по несуществующим страницам обращений.

#4 13 декабря 2023 в 19:09

Полно таких ботов шастает, перебирают страницы

Изображение

#5 13 декабря 2023 в 19:48

На мои другие  сайты тоже приходят. Стучат на основные страницы авторизации + пробирают файлы тип arhive.gzip и т.д. Вдруг ты бекапил что и забыл удалить. Они скачают и сразу на другом сайте развернут. А если что ценное, карты юзеров или еще что, то вообще клад

#6 14 декабря 2023 в 22:48

Ясно. У меня бороться с ним не получилось. В User Agent нет имени — не заблокируешь. По ip — их сотни, всех тоже не заблокируешь. Просто напрягает, что по Яндекс Метрике портят поведенческие.

#7 14 декабря 2023 в 23:12

Ясно. У меня бороться с ним не получилось. В User Agent нет имени — не заблокируешь. По ip — их сотни, всех тоже не заблокируешь. Просто напрягает, что по Яндекс Метрике портят поведенческие.

Олег

если сайт не монетизируется РСЯ, можно убрать метрику и другие скрипты от яндекса, не гарантия, но может помочь.

Если есть РСЯ, надо бороться, 90% ботов — могут отключить площадку.

Добавлено спустя 2 минуты

Также можно попробовать поставить каптчу на весь сайт. 

#8 15 декабря 2023 в 11:51

В User Agent нет имени — не заблокируешь.

Олег

Это почему же? 

#9 15 декабря 2023 в 18:47

Это почему же? 

IamB

они же не подписываются в юзер агент. Типа такой: user agent: Mozilla/5.0 (iPhone; CPU iPhone OS 17_1_2 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.1.2 Mobile/15E148 Safari/604.1

#10 15 декабря 2023 в 19:45

Моя логика в данном случае (борьба с отказами) такая:

— большинство ботов посылают user_agent, если этот бот вам интересен — пускайте на сайт,

— если в $_SERVER['HTTP_USER_AGENT'] ничего нет — это не человек и не известный бот, то пусть лесом идет.

#11 15 декабря 2023 в 20:08

 IamB, У них юзер агент — не пустой, там есть кое какие данные, как на примере выше. Но там нет слова Bot, они не объявляют о себе как о боте, они мимикрируют под нормальных пользователей, разные ip в том числе мобильные операторы, разные ОС и версии браузера

#12 15 декабря 2023 в 20:29

там есть кое какие данные, как на примере выше

Нил™

Этот пример не с сайта ТС. Что у него там на самом деле мы не знаем.

они не объявляют о себе как о боте, они мимикрируют под нормальных пользователей

Нил™

Опять же, на своем сайте вы какие-то эксперименты проводили, анализ делали и пришли к своим выводам и своему способу действий. А у ТС что за ситуация?

#13 15 декабря 2023 в 21:09

Ясно. У меня бороться с ним не получилось. В User Agent нет имени — не заблокируешь. По ip — их сотни, всех тоже не заблокируешь. Просто напрягает, что по Яндекс Метрике портят поведенческие.

Олег

если сайт не монетизируется РСЯ, можно убрать метрику и другие скрипты от яндекса, не гарантия, но может помочь.

Если есть РСЯ, надо бороться, 90% ботов — могут отключить площадку.

Также можно попробовать поставить каптчу на весь сайт. 

Нил™

В том-то и дело. Подавал в РСЯ — отказ без объяснения причины (не соответствует требованиям). Но тогда ботов меньше было.

Выглядят вот-так.

Изображение

#14 15 декабря 2023 в 21:31

 Олег, как вариант, попробуйте применить это решение.

#15 15 декабря 2023 в 22:30

 IamB, а чем этот компонент поможет? Перегрузок нет.

Вы не можете отвечать в этой теме.
Войдите или зарегистрируйтесь, чтобы писать на форуме.
Используя этот сайт, вы соглашаетесь с тем, что мы используем файлы cookie.