Оптимизация БД Opencart2 и медленных запросов
Здравствуйте! Нужно
Оптимизировать работу БД и медленные запросы
Из-за перегруза БД сильно скачет нагрузка на ЦП сервера из-за чего падает скорость работы ресурса.
OpenCart2 / ISPManager / VPS
При возникновении данного явления - мы перезагружаем сервер. После этого какое-то время (до 24 часов) все работает нормально а потом сново понемногу наростает нагрузка и все заново.
ДЕТАЛЬНАЯ ИНФО ПО ПРОЭКТУ И ПРИЧИНЕ ПРОЭКТА
На выходных все норм, а будние дни с раннего утра 4:00/4:30 начинаются сильные скачки нагрузки на процессор сервера, при том даже когда посетителей на сайте очень мало.
Парсеры и всякие загрузчики работают каждый день и только ночью. Но пробовал их удалять - не помогает. поэтому их влияние пока исключается.
Нужно найти источник этих бед)
Нагрузки на ЦП не более 50%, но уже даже при этой нагрузки сайт сильно лагает. Только при работе на 20-30% ЦП сайт работает нормально. Вот пример скрина сегодняшнего
http://prntscr.com/srtjva
Так же наблюдается большая нагрузка на БД в период таких тупняков.
http://prntscr.com/srtoq3
Как говорит один с разработчиков - "причина в Говно коде сайта, надо перебирать в чем именно"По всем анализам и наблюдениям тупняки начинаются вместе с перегрузом БД - соответственно и решение возможно именно в нем.
Некоторые уточнения по ситуации:
- на каком движке сайт?
OpenCart 2
- на сервере есть еще другие сайты кроме того сайта с которым наблюдаются проблемы?
Да. это аналогичный простой магазин на OpenCart 1,5.
На нем трафика примерно 0. Им не занимаемся. На нем отключены все парсеры и загрузчики.
Но на нем обновляются цены синхронизируясь с первым основным магазином, синхронизация происходит 1 раз в сутки, в 00_00 в течении 2-5 минут. В остальное время синхронизация заблокирована.
- какая посещаемость сайта в день?
в спокойные времена около 200-300/сутки
последний месяц 500-600/день
- какая пиковая посещаемость наблюдалась ранее?
Ранее были пики 1000-1200/день
- каким образом фиксируются скачки нагрузки?
Начинает тупить сайт, и это отслеживаем по графику в системе
http://prntscr.com/snvsuo
http://prntscr.com/snvtb5
- у какого хостинг провайдера находится сайт/сервер?
Ukraine
- какой тип хостинга - виртуальный хостинг, виртуальный сервер, выделенный сервер?
VPS
- какие параметры сервера/тарифного плана?
Операционная система: CentOS 7
Тарифный план: SSD VPS 6G
Память RAM: 6144 Мб
Диск SSD: 70000 Мб
CPU: 2x2.8 Ghz
- каким образом организована техническая поддержка и обслуживание сервера?
Фрилансеры по мере необходимости поддерживают.
как видно по графику, постепенно но линейно растет расход оперативной памяти, и когда нагрузка на ЦП достигает более 60% то это ощущается физически по скорости работы сайта.
Мы перезагружаем сервер - оперативка - падает, загрузка ЦП так же падает но не так сильно как хотелось бы.
Не давно провели такие работы:
Перешли с CGI на FastCGI
Сделали оптимизацию Nginx + PHP + Mysql
Перешли на PHP7 с PHP5
После этого сайт стал работать заметно быстрее, но периодически остались эти тупняки.
То есть до проделанной работы сайт тупил, местами так же как сейчас местами реже, но в целом это не замечалось так как сейчас т.к. сейчас по умолчанию сайт работает шустро.
а что на счет парсеров?
-Есть только парсеры xml файлов которые закачивают НАМ товары и обновляют цены и остатки у НАС.
График этих загрузок проставлен на ночь, и обновление 1 раз в сутки, а ночью как видно по графикам нагрузка минимальная.
есть ли скрипты обмена данными с внешними системами (например 1С или CRM какой-то)?
-Нет.
есть ли скрипты создания резервных копий по расписанию?
-Да, резервная копия создается.
http://prntscr.com/snwe8u
Время завершения создания резервных копий припадает на НАЧАЛО нагрузки на ЦП.
И они создаются не каждый день, как видно по скрину. А Проблемы - каждый день.
Есть так же выгрузки типа Гугл Фид, Розетка, Хотлайн.
Но там обновления делаются точечно с обновлением только цен и наличия, большие массивы данных не грузятся.
Переход с isp менеджера не предлагать.
По любой другой информации запрашивайте - предоставлю!
Задача: Оптимизивароть БД и медленные запросы ресурса что бы избежать негативных явления на сервере которые есть сейчас в виде скачков нагрузки на ЦП и постоянного роста расхода оперативной памяти.
-
Есть ли настроенный slow log ? Если есть - есть ли там запросы , если есть - то да их нужно оптимизировать - нет - ну скорее всего проблема не в БД
-
Ну надо его в первую очередь прикрутить , это же покажет - что лагает по бд , для этого он и был придуман
-
Актуальные фриланс-проекты в категории Веб-программирование
Обновление одностраничного сайта предоставления строительных услуг
1000 UAH
Обновление действующего одностраничного самописного сайта предоставления строительных услуг Задача: -Редизайн сайта -Добавление категорий услуг путем создания мультилендинга на 6 категорий -Добавление к каждой категории фото и описания работ -Оптимизация рекламы сайта… Веб-программирование ∙ 4 часа 38 минут назад ∙ 47 ставок |
Дополнение Front-end e-com сайта на OpencardНеобходимо доработать front-end e-commerce сайта на OpenCart. Основные задачи: исправить визуальные баги, адаптивность под мобильные устройства, улучшить отображение карточек товаров, категорий, корзины и страницы оформления заказа. Ожидается аккуратная верстка, сохранение… CMS, Веб-программирование ∙ 6 часов 28 минут назад ∙ 37 ставок |
Разработка формы сбора лидов перед загрузкой программы (MODX)Сайт: bricscad-ukraine.com.uaCMS: MODXМета: Создать механизм сбора лидов перед загрузкой программного обеспечения для 3-х версий Windows, MacOS, Linux с сайта для дальнейшей обработки отделом продаж. Веб-программирование ∙ 9 часов 57 минут назад ∙ 27 ставок |
Удалить вирусы с сайта и обновить плагины (Wordpress)Нужен специалист по WordPress для технической доработки сайта Задача: Очистить сайт https://www.mast-agency.com/ от вирусов/вредоносного кода, файлов; (на сайте вирус, который делает страницы и редиректы на чужой магазин) Обновить плагины, чтобы сайт работал и выглядел… CMS, Веб-программирование ∙ 13 часов 28 минут назад ∙ 68 ставок |
Сделать так, чтобы письма о заказах из магазина не попадали в спамСейчас есть магазин на опенкарт, письма о заказах попадают в спам, нужно сделать так, чтобы они попадали во Входящие (ukr.net gmail), проверьте. Хостинг написал: Плохая доставка электронной почты может быть связана с низкой репутацией отправителя - IP или домена. В таком… PHP, Веб-программирование ∙ 14 часов 33 минуты назад ∙ 45 ставок |