Нагрузка сервера, MySQL. Решения, выявляющие скрипты, которые нагружают базу

InstantCMS 2.X
#1 3 июня 2018 в 20:53
От хостера пришло письмо (3 дня подряд), что моя база нагружает сервер. Что какие-то скрипты на сайте делают много запросов к базе.

Нагрузка 6738 процессорных секунд.
Допустимо 1000

По договору оферты могут меня «вырубить». Я то их не вырублю)

Наткнулся на интересное решение instantcms.ru/addons/loadaverage.html
Но там отзывы не очень. Пишут, что сайт выключает. Не знаю, может так настраивали.
Воспользоваться или есть ещё решения для InstantCMS, выявляющие источник нагрузки?

Вообще проблемы с нагрузкой начались после установки Пинга instantcms.ru/addons/se-ping.html
Как раз тот же разработчик.

В access_log все строчки про уandex bot были.
Кстати, меня предупреждали за перегрузку.
instantcms.ru/forum/thread29701-1.html#289942

С фтп и из админки удалил, сначала помогло.
Не знаю, может сейчас другие скрипты нагружают. Хотя, по идее, нет таких.

Вопрос:
1) как до конца удалять компоненты, в частности этот бот?
2) есть ли решения, выявляющие нагрузку?
#2 3 июня 2018 в 21:13
Сделайте восстановление и оптимизацию базы!
#3 3 июня 2018 в 21:19

Но там отзывы не очень. Пишут, что сайт выключает.

Polzovinst
Те, кто читать не умеет описание и цель компонента. А также его техтребования. Компонент не делает запросы к базе.

Вообще проблемы с нагрузкой начались после установки Пинга

Polzovinst
Этот компонент вообще не делает запросы в базу) Он лишь только при добавлении записей отправляет пинг поисковым системам.

что моя база нагружает сервер. Что какие-то скрипты на сайте делают много запросов к базе.

Polzovinst
Так выясните, какие дополнения делают много запросов к базе.

есть ли решения, выявляющие нагрузку?

Polzovinst
Включение режима отладки в админке. И понимание того, что вы делаете. А не так, как вы делали с "защитой конфига", который уже защищён.
#4 3 июня 2018 в 21:34
Спасибо.


И понимание того, что вы делаете.

Fuze
Пока развиваемся. Лучше, чем год назад. Через год будет ещё лучше. Стыдно взрослому, что когда-то был глупым ребёнком.


Включение режима отладки в админке.

Fuze
Включил. Дальше вот думаю что делать)


Этот компонент вообще не делает запросы в базу)

Fuze
Просто во времен нагрузка совпала с установкой компонента.
И в access_log все строчки про уandex bot были.
В техподдержке сервера сказали, что если нагрузка большая, загляните для начала в access_log
#5 3 июня 2018 в 21:45

Дальше вот думаю что делать

Polzovinst
Видимо ходить по страницам, открывать окно отладки и смотреть список SQL запросов. Огорчаться их кол-вом и смотреть от какого компонента их больше всего.

И в access_log все строчки про уandex bot были.

Polzovinst
И как access_log и строчки про уandex bot вы связали с компонентом? Полагаю, что у вас много запросов от уandex bot (стоит погуглить что это), а ваш не очень хороший хостинг не справляется с банальной индексацией.

Пока развиваемся

Polzovinst
Развиваться нужно, пытаясь разбираться, что вам советуют, вникая в каждую строчку советов, не стесняясь лишний раз полюбопытствовать и погуглить. А то вам посоветуют когда-нибудь ввести в консоли сервера супер команду для улучшения быстродействия:
  1. rm -rf
и копипаст вас подведёт.
#6 3 июня 2018 в 21:50
У вас все установлено по умолчанию? Тогда у вас тип таблицы базы MySAM.
В процессе работы у этого типа таблиц накапливаются ошибки и фрагментируется база. Это приводит к нагрузкам серверов.
Надо хотя бы раз в месяц выполнять обслуживание базы, а именно 2 процесса — восстановление и оптимизация. Если это не позволяет делать ваша панель управления, тогда это надо сделать через phpMyAdmin.
Если для вас это "темный лес" тогда могу помочь.
#7 3 июня 2018 в 21:54


У вас все установлено по умолчанию? Тогда у вас тип таблицы базы MySAM.
В процессе работы у этого типа таблиц накапливаются ошибки и фрагментируется база. Это приводит к нагрузкам серверов.
Надо хотя бы раз в месяц выполнять обслуживание базы, а именно 2 процесса — восстановление и оптимизация. Если это не позволяет делать ваша панель управления, тогда это надо сделать через phpMyAdmin.
Если для вас это "темный лес" тогда могу помочь.

vikont
Спасибо. Если с тёмным лесом в ближайшее время не разберусь, обязательно обращусь.
#8 3 июня 2018 в 21:55

И как access_log и строчки про уandex bot вы связали с компонентом? Полагаю, что у вас много запросов от уandex bot (стоит погуглить что это), а ваш не очень хороший хостинг не справляется с банальной индексацией.

Fuze
Fuze верно пишет! Это вторая проблема перегрузки. Надо уменьшить скорость обхода бота на Яндексе. делается через инструменты вебмастера. Но с начала обслужите базу.
#9 3 июня 2018 в 21:57


Это вторая проблема перегрузки. Надо уменьшить скорость обхода бота на Яндексе. делается через инструменты вебмастера.

vikont
Может правда то что SSL-сертификат получил ещё. Индексирует там себе.
#10 3 июня 2018 в 22:16

у этого типа таблиц накапливаются ошибки

vikont

Может правда то что SSL-сертификат получил ещё. Индексирует там себе.

Polzovinst
Откуда такую информацию вы берете?) Из разряда по колесу постучал, стекло протёр, — не помогает.

ошибки не могут накапливаться, они либо есть и база (или отдельная таблица) падает, либо их нет.
При чём тут ssl сертификат в целом? При чем тут сертификат и индексация?

Надо уменьшить скорость обхода бота на Яндексе. делается через инструменты вебмастера.

vikont
Хостинг калькулятор ситезен что ли? Если банальные боты кладут сайт, то либо хостинг мягко говоря плох, либо настолько много sql запросов, что чуть маленькая нагрузка и хостинг делает отсечку.
#11 3 июня 2018 в 22:52

vikont:
у этого типа таблиц накапливаются ошибки

Откуда такую информацию вы берете?) Из разряда по колесу постучал, стекло протёр, — не помогает.

ошибки не могут накапливаться, они либо есть и база (или отдельная таблица) падает, либо их нет.

Fuze
Таблиц в базе не одна и сбоить тоже может не одна....
Процедуры восстановления и оптимизации, помогают реально! Не раз с этим сталкивался.

Хостинг калькулятор ситезен что ли? Если банальные боты кладут сайт, то либо хостинг мягко говоря плох, либо настолько много sql запросов, что чуть маленькая нагрузка и хостинг делает отсечку.

Fuze
ЯВебмастер-сайт-Индексирование-скорость обхода...
Когда в базе есть сбои, будут боты ложить хостинг! Конечно бывает вина и самого хостинга, стараемся работать по минимуму затрат… Если хостинг слабоват, тогда тормознуть боты, чтоб не грузили сервер.
#12 3 июня 2018 в 23:05


ЯВебмастер-сайт-Индексирование-скорость обхода...

vikont


Невысокая. Видимо, у меня не из-за этого.

Остаётся вариант отладка и оптимизация.
#13 3 июня 2018 в 23:19


Видимо ходить по страницам, открывать окно отладки и смотреть список SQL запросов.

Fuze

Этим можно воспользоваться instantcms.ru/addons/debug.html?
#14 3 июня 2018 в 23:31


От хостера пришло письмо (3 дня подряд), что моя база нагружает сервер. Что какие-то скрипты на сайте делают много запросов к базе.

Polzovinst
Думаю не в компонентах дело. Скорее всего нагрузку создают редиректы scratch
#15 3 июня 2018 в 23:38
Стало интересно. Один эксперимент провожу, чистый движок. Из компонентов почти ничего нет, кроме инстайлера. Но когда его отключал, ничего не менялось.

Установил расширенную отладку ради интереса. Выдало такую картинку:


На сайте один тип контента, в нем 350к записей. Тормозит, да. Конфигурация сервера может и не самая лучшая)) Но даже большего объема сайты на вп работают шустрее на этом же хостинге.

Тоже искал причины в начале, потом забил. Один из экспериментов на этом сайте как раз заключался в проверке быстродействия при большом количестве записей. Чтобы боты не грузили сервер, ограничил их, потому что в самом начале было по 200 подключений в секунду. Сделал 1 подключение в 30 секунд.

Так и не понял, в чем прикол. Отключал виджеты, да и сейчас они отключены почти все. Хостер говорит, что большая нагрузка на процессор. Увеличил лимит в два раза мне по старой дружбе — стало веселее, но иногда сайт все равно падает.

Как проверить, какие запросы к базе идут, я так и не понял)) Не знаю. Судя по всему, как раз с базой, кажется, что-то не так.

Вообще, на самом деле, я уже забыл про этот сайт. А тут раз — напомнили))

Вывод такой — чтобы сайт нормально работал с большим количеством контента, нужны большие ресурсы. Обычный хостинг такие не предоставляет. А может просто у меня руки кривые, кто знает…
Вы не можете отвечать в этой теме.
Войдите или зарегистрируйтесь, чтобы писать на форуме.
Используя этот сайт, вы соглашаетесь с тем, что мы используем файлы cookie.