#1
19 февраля 2016 в 21:52
MySQL — Написано много чего, но не помогает как-то ничего, после добавления "обильного контента" боты поисковиков, не на шутку сканируют все и вся, в результате сервер MySQL нужно перезагружать иногда сильно часто.
Как можно снизить реально запросы?
Как можно снизить реально запросы?
Не знаю, мне запись в robots.txt такая Crawl-delay: 10 реально помогла. Роботы могут сразу не слушаться, особо наглых банить по ip
#3
19 февраля 2016 в 22:47
Crawl-delay: 10 у меня гораздо больше стоит, майла боты сильно активны
Сегодня в 07:47
#4
19 февраля 2016 в 23:21
Забаньте их хотя бы на время.майла боты сильно активны
#5
19 февраля 2016 в 23:26
да, которые сильно досаждают, тем в robots.txt прописываете Crawl-delay, например так
User-agent: Slurp
Crawl-delay: 100
или если они не нужны, то например так
User-agent: MJ12bot
Disallow: /
а особо наглых, которые не слушают robots.txt банить например в .htaccess
RewriteCond %{HTTP_USER_AGENT} SolomonoBot [NC,OR]
RewriteCond %{HTTP_USER_AGENT} SearchBot [NC,OR]
RewriteCond %{HTTP_USER_AGENT} MJ12bot [NC,OR]
RewriteCond %{HTTP_USER_AGENT} AhrefsBot
RewriteRule .* — [F,L]
User-agent: Slurp
Crawl-delay: 100
или если они не нужны, то например так
User-agent: MJ12bot
Disallow: /
а особо наглых, которые не слушают robots.txt банить например в .htaccess
RewriteCond %{HTTP_USER_AGENT} SolomonoBot [NC,OR]
RewriteCond %{HTTP_USER_AGENT} SearchBot [NC,OR]
RewriteCond %{HTTP_USER_AGENT} MJ12bot [NC,OR]
RewriteCond %{HTTP_USER_AGENT} AhrefsBot
RewriteRule .* — [F,L]
#6
20 февраля 2016 в 08:43
Кто знает, чьи это боты?
100 217.69.134.15
101 217.69.134.29
168 130.193.50.11
169 66.249.78.142
298 66.249.66.130
334 66.249.78.25
517 66.249.66.141
569 66.249.66.8
1920 130.193.51.95
4616 217.69.133.186
100 217.69.134.15
101 217.69.134.29
168 130.193.50.11
169 66.249.78.142
298 66.249.66.130
334 66.249.78.25
517 66.249.66.141
569 66.249.66.8
1920 130.193.51.95
4616 217.69.133.186
#8
20 февраля 2016 в 09:00
100 217.69.134.15 — Mozilla/5.0 (Windows NT 5.1; rv:44.0) Gecko/20100101 Firefox/44.0 он важный нет? ( пойдем по порядку, может еще кому пригодится
#9
20 февраля 2016 в 12:13
Челябинские вебмастера настолько суровы что банят поисковых ботов…
#10
20 февраля 2016 в 13:56
А кто из Челябинска?Челябинские вебмастера настолько суровы что банят поисковых ботов.
Так это скорее всего юзер, раз с Firefox сидит.100 217.69.134.15 — Mozilla/5.0 (Windows NT 5.1; rv:44.0) Gecko/20100101 Firefox/44.0 он важный нет? ( пойдем по порядку, может еще кому пригодится
А в техподдержку хостинга обращались с вопросом про эту абузу? Может они могут че-то посоветовать?