Оптимизация БД Opencart2 и медленных запросов
Здравствуйте! Нужно
Оптимизировать работу БД и медленные запросы
Из-за перегруза БД сильно скачет нагрузка на ЦП сервера из-за чего падает скорость работы ресурса.
OpenCart2 / ISPManager / VPS
При возникновении данного явления - мы перезагружаем сервер. После этого какое-то время (до 24 часов) все работает нормально а потом сново понемногу наростает нагрузка и все заново.
ДЕТАЛЬНАЯ ИНФО ПО ПРОЭКТУ И ПРИЧИНЕ ПРОЭКТА
На выходных все норм, а будние дни с раннего утра 4:00/4:30 начинаются сильные скачки нагрузки на процессор сервера, при том даже когда посетителей на сайте очень мало.
Парсеры и всякие загрузчики работают каждый день и только ночью. Но пробовал их удалять - не помогает. поэтому их влияние пока исключается.
Нужно найти источник этих бед)
Нагрузки на ЦП не более 50%, но уже даже при этой нагрузки сайт сильно лагает. Только при работе на 20-30% ЦП сайт работает нормально. Вот пример скрина сегодняшнего
http://prntscr.com/srtjva
Так же наблюдается большая нагрузка на БД в период таких тупняков.
http://prntscr.com/srtoq3
Как говорит один с разработчиков - "причина в Говно коде сайта, надо перебирать в чем именно"По всем анализам и наблюдениям тупняки начинаются вместе с перегрузом БД - соответственно и решение возможно именно в нем.
Некоторые уточнения по ситуации:
- на каком движке сайт?
OpenCart 2
- на сервере есть еще другие сайты кроме того сайта с которым наблюдаются проблемы?
Да. это аналогичный простой магазин на OpenCart 1,5.
На нем трафика примерно 0. Им не занимаемся. На нем отключены все парсеры и загрузчики.
Но на нем обновляются цены синхронизируясь с первым основным магазином, синхронизация происходит 1 раз в сутки, в 00_00 в течении 2-5 минут. В остальное время синхронизация заблокирована.
- какая посещаемость сайта в день?
в спокойные времена около 200-300/сутки
последний месяц 500-600/день
- какая пиковая посещаемость наблюдалась ранее?
Ранее были пики 1000-1200/день
- каким образом фиксируются скачки нагрузки?
Начинает тупить сайт, и это отслеживаем по графику в системе
http://prntscr.com/snvsuo
http://prntscr.com/snvtb5
- у какого хостинг провайдера находится сайт/сервер?
Ukraine
- какой тип хостинга - виртуальный хостинг, виртуальный сервер, выделенный сервер?
VPS
- какие параметры сервера/тарифного плана?
Операционная система: CentOS 7
Тарифный план: SSD VPS 6G
Память RAM: 6144 Мб
Диск SSD: 70000 Мб
CPU: 2x2.8 Ghz
- каким образом организована техническая поддержка и обслуживание сервера?
Фрилансеры по мере необходимости поддерживают.
как видно по графику, постепенно но линейно растет расход оперативной памяти, и когда нагрузка на ЦП достигает более 60% то это ощущается физически по скорости работы сайта.
Мы перезагружаем сервер - оперативка - падает, загрузка ЦП так же падает но не так сильно как хотелось бы.
Не давно провели такие работы:
Перешли с CGI на FastCGI
Сделали оптимизацию Nginx + PHP + Mysql
Перешли на PHP7 с PHP5
После этого сайт стал работать заметно быстрее, но периодически остались эти тупняки.
То есть до проделанной работы сайт тупил, местами так же как сейчас местами реже, но в целом это не замечалось так как сейчас т.к. сейчас по умолчанию сайт работает шустро.
а что на счет парсеров?
-Есть только парсеры xml файлов которые закачивают НАМ товары и обновляют цены и остатки у НАС.
График этих загрузок проставлен на ночь, и обновление 1 раз в сутки, а ночью как видно по графикам нагрузка минимальная.
есть ли скрипты обмена данными с внешними системами (например 1С или CRM какой-то)?
-Нет.
есть ли скрипты создания резервных копий по расписанию?
-Да, резервная копия создается.
http://prntscr.com/snwe8u
Время завершения создания резервных копий припадает на НАЧАЛО нагрузки на ЦП.
И они создаются не каждый день, как видно по скрину. А Проблемы - каждый день.
Есть так же выгрузки типа Гугл Фид, Розетка, Хотлайн.
Но там обновления делаются точечно с обновлением только цен и наличия, большие массивы данных не грузятся.
Переход с isp менеджера не предлагать.
По любой другой информации запрашивайте - предоставлю!
Задача: Оптимизивароть БД и медленные запросы ресурса что бы избежать негативных явления на сервере которые есть сейчас в виде скачков нагрузки на ЦП и постоянного роста расхода оперативной памяти.
-
Есть ли настроенный slow log ? Если есть - есть ли там запросы , если есть - то да их нужно оптимизировать - нет - ну скорее всего проблема не в БД
-
Ну надо его в первую очередь прикрутить , это же покажет - что лагает по бд , для этого он и был придуман
-
Current freelance projects in the category Web Programming
Create a Chrome plugin for connecting to a proxyCreate a Chrome plugin for connecting to a proxy I am looking for a developer, possibly with AI who has successfully published similar plugins in the store just AI writing without development experience is not needed please send proposals regarding price and deadlines AI & Machine Learning, Web Programming ∙ 7 hours 37 minutes back ∙ 26 proposals |
Tik Tok Live node.je
16 USD
It is necessary to write a mini program based on the TT-live-connector library, so that when launched, it reads the Gifts being sent and displays a smooth and beautiful animation through a regular web page. Web Programming ∙ 21 hours 32 minutes back ∙ 27 proposals |
Creation of a website for an accounting firm on WordPress (using a ready-made template)
557 USD
Good day. We are an accounting firm - we want to create a website for the accounting firm on WordPress (using a ready-made template) in two languages. It should be optimized for Google and SEO. Web Programming ∙ 2 days 1 hour back ∙ 105 proposals |
Improvement of the time tracking system on ASP.NETNeed a .NET developer for a small project — an employee payroll system. Three tasks: Deploy the system on our subdomain (we will provide the domain and access). Audit the login form + make security improvements if necessary. Implement a closed API for data export in JSON. Stack:… Web Programming ∙ 2 days 2 hours back ∙ 41 proposals |
A modern website is needed for a stretch ceiling company in Poland.
634 USD
Need a modern premium design, mobile device adaptation, fast loading, SEO, animations, calculator, portfolio, application form. Experience in creating websites in Poland, landing pages for construction or renovation companies is preferred. Please be sure to send examples of your… HTML & CSS, Web Programming ∙ 2 days 4 hours back ∙ 158 proposals |