Бот-убийца

Поисковый бот мейл.ру грузит сервер насмерть.

#1 28 декабря 2015 в 01:15
С полгода мучился с одной проблемой. Сайт то летает, то еле ползает. Иногда просто не открывался и выпадал в Can't connect to MySQL server.
Я техподдержку хостера задолбал насмерть, мол вы там реселлите, но меру знайте. Они мне: "Ваш сервер перегружен".
Спрашиваю, чем он там перегружен? 28 пользователей в онлайне. Мне говорят, мол для минимальной конфигурации VDS 28 человек — серьезная нагрузка. Я уже им хамить начал, мол не купить ли мне выделенный сервер под тысячу уников в день?
Потом подключился знающий сотрудник техподдержки и разъяснил, что иногда хватает одного бота чтобы уложить сайт.
Посмотрел логи и обнаружил интересную картину. На сайте всё время пасется Mail.ru bot и занимается черте-чем, только не делом.
Копается в текстах трехлетней давности, скачивает иконки и рамки шаблона, в общем развлекается как может. Нагрузка сравнимая с дидосом.

Попробовал ограничить его активность в robots.txt, прописал там Crawl-delay: 100. Но этот бот плевал в робота и продолжал свои развлечения.
Пришлось забанить по айпи в .htaccess Всё равно с мейлру приходит два человека в день, а вреда от него немеряно.
И всё, как отшептало! Сайт летает со сверхзвуковой скоростью и радует пользователей и админов.

Так вот, если сайт тормозит, не спешите ругать хостера. Проверьте нет ли такого же милого поисковика на сайте.
#2 28 декабря 2015 в 01:30

Так вот, если сайт тормозит, не спешите ругать хостера.

HiAndy

Из описанного, вашего хостера можно и поругать)
Обычный хостинг без блокировок ботов может нормально выдержать 5-10к трафика в сутки

Проверено здесь:

Иллюстрация
#3 28 декабря 2015 в 01:34

Проверено здесь:

reload

Вот как раз там мне года четыре назад вырубили сайт без предупреждения. За перегрузку. Еле выпросил базу данных.
Пусть идут они заре навстречу…
#4 28 декабря 2015 в 01:59

вырубили сайт без предупреждения.

HiAndy

Странно, ибо мне года четыре назад писали письма чуть ли ни каждый день в течении месяца о превышении допустимой нагрузки и с просьбой перейти на тариф выше!)

Самое интересное, что даже превышая допустимую нагрузку мне ничего не резали в течении месяца — сайты практически летали… было с чем сравнить)

Еще мне никогда боты не ложили сайты) вернее такого я не замечал!

В общем я сожалею о вашем печальном опыте, бывает наверное все.

К кому переехали, можно узнать, что там за хостер такой который от 1 бота ложится?
#5 28 декабря 2015 в 03:02
HiAndy ценю желание предупредить коллег о потенциальной угрозе.
Но...
Похоже на то, что вас жестоко троллят)
То ли принуждают к переходу на более дорогой тариф, то ли чисто "поржать")
Как я понял, у вас в среднем около 1000 уников в сутки и в среднем 28 онлайн? На VDS?
У меня побольше посещаемость на аккаунте. И судя по тому что трафик с мэил ру 3-8% по разным сайтам, боты мэил тоже бывают) Никаких проблем это не создаёт) Даже не VDS. Виртуальный хостинг)
Версия о том, что бот мэил ру "кладет " сайт — не серьёзно. Да и в гугле я не нашел упоминаний о схожей ситуации связанной с этим)
#6 28 декабря 2015 в 03:36
Да, странная ситуация. У меня был пример, когда дешёвый шаровый хостинг за несколько баксов в месяц со старым сервером и кучей других клиентов вообще без каких-либо заметных тормозов выдерживал 5 тысяч просмотров в сутки в течение нескольких месяцев. И поддержка ничего не писала. Правда, там движок был очень лёгкий, самописный.
#7 28 декабря 2015 в 08:21

Да и в гугле я не нашел упоминаний о схожей ситуации связанной с этим)


Значит можно в яндексе посмотреть. smile

webmasters.ru/forum/f185/bot-mail-ru-dosit-sait-69162/
searchengines.guru/showthread.php?t=471906
webimho.ru/topic/4399/


У меня был пример, когда дешёвый шаровый хостинг за несколько баксов в месяц со старым сервером и кучей других клиентов вообще без каких-либо заметных тормозов выдерживал 5 тысяч просмотров в сутки в течение нескольких месяцев.

WebMan

5 — 10 тысяч просмотров было всегда.

И никогда это никаких проблем не создавало. Проблемы начались с полгода назад. Причем как-то временами.

К кому переехали, можно узнать

reload

Переехал на ihor.ru и очень доволен.
За 250р. гиг оперативки, 20 диска, бесплатный IPSmanager и дружественная техподдержка.
#8 28 декабря 2015 в 08:47

То ли принуждают к переходу на более дорогой тариф

Нил™

Этим "рег.сру" не стесняется заниматься. Ушел от них после точно такой же ситуации описанной ТС.
#9 28 декабря 2015 в 08:53

Этим "рег.сру" не стесняется заниматься

Андрей

C этим регом был целый комикс. Купил у них VDS, залил сайт и он тут же стал недоступен. И оставался недоступным 4 часа. Писал в ТП, они ответили, что проблемы с сервером и просили подождать. После трех часов ожидания я купил виртуальный сервер в другом месте и перенес сайт туда.
Так и не воспользовался услугами регру. laugh
#10 28 декабря 2015 в 09:55

На сайте всё время пасется Mail.ru bot и занимается черте-чем

HiAndy

Я сейчас по логам посмотрел, этого bota у меня на сайте интересуют только фотобитвы и форум
При чём сидел на сайте с 00.29 до 9.00 потом свалил laugh
сканировал вот это
/sitemap_forum_profiles.xml
/sitemap_photobattle_profiles.xml
#11 28 декабря 2015 в 13:19

Значит можно в яндексе посмотреть

HiAndy
B всё таки...
Тут более уместно говорить или о изначально слабых ресурсах VDS или ограниченных лимитах, или не знаю, может быть настройка сервера выполнена так, что подобное поведение бота становится смертельным.
Бот mail.ru посещает я думаю сотни тысяч сайтов. Рапорты о том что из за него падает сервер — единичны)
А в вашем случае, так вообще обращает на себя внимание то, что поддержка сначала вам рассказывала про 28 человек онлайн которые убивают ваш сайт, потом легенда сменилась на другую) Как то не последовательно)
#12 28 декабря 2015 в 13:30
Тут ключевая фраза

или не знаю

Нил™

Если внимательно прочитать первый пост, то можно заметить, что не поддержка мне рассказывала, а я им рассказывал.

Потом подключился знающий сотрудник техподдержки и разъяснил,

HiAndy

Зловредный бот приходил с айпи 5.143.231.45 (44, 30 и т.д.) в нескольких экземплярах. И только после его забанивания настало спокойствие.
#13 28 декабря 2015 в 13:34

настало спокойствие.

HiAndy
Это самое главное)
Кстати, если совсем запретить доступ к сайту всем ip он вообще будет летать)
#14 28 декабря 2015 в 14:05

стати, если совсем запретить доступ к сайту всем ip он вообще будет летать)

Нил™

Ну такой вариант тоже возможен.
Для тех, кто имеет твердые убеждения в непогрешимости ботов.)
Вы не можете отвечать в этой теме.
Войдите или зарегистрируйтесь, чтобы писать на форуме.

Похожие темы

Используя этот сайт, вы соглашаетесь с тем, что мы используем файлы cookie.