Прошу помощи профессионалов.
Похоже, атакают боты. Что можно сделать?
Пришло уже не первое письмо от reg.ru
Вот, например, последнее:
Вероятно, высокая нагрузка на MySQL сервер вызвана высокой активностью поисковых роботов на вашем сайта pensionerka.com:
Date: 2017-1-31
============
pensionerka.com — 1285 Mb
pensionerka.com — 64446 queries
1292 queries — pensionerka.com => "128.70.127.118"
718 queries — pensionerka.com => "176.62.106.49"
624 queries — pensionerka.com => "46.161.9.6"
566 queries — pensionerka.com => "178.201.170.119"
546 queries — pensionerka.com => "5.227.222.59"
5878 queries — pensionerka.com => "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
3180 queries — pensionerka.com => "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36"
1725 queries — pensionerka.com => "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.79 Safari/537.36 Edge/14.14393"
1673 queries — pensionerka.com => "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36"
1542 queries — pensionerka.com => "Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)"
#1
3 февраля 2017 в 18:13
#2
3 февраля 2017 в 19:25
Можно попросить ботов не наглеть написав в robots.txt что-то вроде
User-agent: msnbot
User-agent: bingbot
User-agent: YandexBot
Crawl-delay: 60
Ну например в htaccess забаньте эти ip и посмотрите нагрузку
Deny from 128.70.127.118
Посмотреть кому ip принадлежат можно через whois например и принять решение банить ip или нет.
128.70.127.118 например голландский, у вас там есть пользователи?
176.62.106.49 — это Омский
Боты можно попробовать запретить так
SetEnvIfNoCase User-Agent "^AppleWebKit" search_bot
SetEnvIfNoCase User-Agent "^bingbot" search_bot
Deny from env=search_bot
Deny from 128.70.127.118
Посмотреть кому ip принадлежат можно через whois например и принять решение банить ip или нет.
128.70.127.118 например голландский, у вас там есть пользователи?
176.62.106.49 — это Омский
Боты можно попробовать запретить так
SetEnvIfNoCase User-Agent "^AppleWebKit" search_bot
SetEnvIfNoCase User-Agent "^bingbot" search_bot
Deny from env=search_bot
Сегодня в 19:32
#4
3 февраля 2017 в 19:59
Этот ресурс использует дублирование контента (parser content) .Посмотреть кому ip принадлежат
И не заботится о малейшей уникализации. контента.
#5
3 февраля 2017 в 20:30
Сначала забанила… потом посмотрела — это хороший человек. :)) РазбанилаDeny from 128.70.127.118
Посмотреть кому ip принадлежат можно через whois например и принять решение банить ip или нет.
#6
3 февраля 2017 в 20:47
Я просто отвечал на вопрос, насчёт контента — я его не читал и в общем то мне не интересно чей он и т.д…Этот ресурс использует дублирование контента (parser content) .
И не заботится о малейшей уникализации. контента.
