Оптимизация БД Opencart2 и медленных запросов
Здравствуйте! Нужно
Оптимизировать работу БД и медленные запросы
Из-за перегруза БД сильно скачет нагрузка на ЦП сервера из-за чего падает скорость работы ресурса.
OpenCart2 / ISPManager / VPS
При возникновении данного явления - мы перезагружаем сервер. После этого какое-то время (до 24 часов) все работает нормально а потом сново понемногу наростает нагрузка и все заново.
ДЕТАЛЬНАЯ ИНФО ПО ПРОЭКТУ И ПРИЧИНЕ ПРОЭКТА
На выходных все норм, а будние дни с раннего утра 4:00/4:30 начинаются сильные скачки нагрузки на процессор сервера, при том даже когда посетителей на сайте очень мало.
Парсеры и всякие загрузчики работают каждый день и только ночью. Но пробовал их удалять - не помогает. поэтому их влияние пока исключается.
Нужно найти источник этих бед)
Нагрузки на ЦП не более 50%, но уже даже при этой нагрузки сайт сильно лагает. Только при работе на 20-30% ЦП сайт работает нормально. Вот пример скрина сегодняшнего
http://prntscr.com/srtjva
Так же наблюдается большая нагрузка на БД в период таких тупняков.
http://prntscr.com/srtoq3
Как говорит один с разработчиков - "причина в Говно коде сайта, надо перебирать в чем именно"По всем анализам и наблюдениям тупняки начинаются вместе с перегрузом БД - соответственно и решение возможно именно в нем.
Некоторые уточнения по ситуации:
- на каком движке сайт?
OpenCart 2
- на сервере есть еще другие сайты кроме того сайта с которым наблюдаются проблемы?
Да. это аналогичный простой магазин на OpenCart 1,5.
На нем трафика примерно 0. Им не занимаемся. На нем отключены все парсеры и загрузчики.
Но на нем обновляются цены синхронизируясь с первым основным магазином, синхронизация происходит 1 раз в сутки, в 00_00 в течении 2-5 минут. В остальное время синхронизация заблокирована.
- какая посещаемость сайта в день?
в спокойные времена около 200-300/сутки
последний месяц 500-600/день
- какая пиковая посещаемость наблюдалась ранее?
Ранее были пики 1000-1200/день
- каким образом фиксируются скачки нагрузки?
Начинает тупить сайт, и это отслеживаем по графику в системе
http://prntscr.com/snvsuo
http://prntscr.com/snvtb5
- у какого хостинг провайдера находится сайт/сервер?
Ukraine
- какой тип хостинга - виртуальный хостинг, виртуальный сервер, выделенный сервер?
VPS
- какие параметры сервера/тарифного плана?
Операционная система: CentOS 7
Тарифный план: SSD VPS 6G
Память RAM: 6144 Мб
Диск SSD: 70000 Мб
CPU: 2x2.8 Ghz
- каким образом организована техническая поддержка и обслуживание сервера?
Фрилансеры по мере необходимости поддерживают.
как видно по графику, постепенно но линейно растет расход оперативной памяти, и когда нагрузка на ЦП достигает более 60% то это ощущается физически по скорости работы сайта.
Мы перезагружаем сервер - оперативка - падает, загрузка ЦП так же падает но не так сильно как хотелось бы.
Не давно провели такие работы:
Перешли с CGI на FastCGI
Сделали оптимизацию Nginx + PHP + Mysql
Перешли на PHP7 с PHP5
После этого сайт стал работать заметно быстрее, но периодически остались эти тупняки.
То есть до проделанной работы сайт тупил, местами так же как сейчас местами реже, но в целом это не замечалось так как сейчас т.к. сейчас по умолчанию сайт работает шустро.
а что на счет парсеров?
-Есть только парсеры xml файлов которые закачивают НАМ товары и обновляют цены и остатки у НАС.
График этих загрузок проставлен на ночь, и обновление 1 раз в сутки, а ночью как видно по графикам нагрузка минимальная.
есть ли скрипты обмена данными с внешними системами (например 1С или CRM какой-то)?
-Нет.
есть ли скрипты создания резервных копий по расписанию?
-Да, резервная копия создается.
http://prntscr.com/snwe8u
Время завершения создания резервных копий припадает на НАЧАЛО нагрузки на ЦП.
И они создаются не каждый день, как видно по скрину. А Проблемы - каждый день.
Есть так же выгрузки типа Гугл Фид, Розетка, Хотлайн.
Но там обновления делаются точечно с обновлением только цен и наличия, большие массивы данных не грузятся.
Переход с isp менеджера не предлагать.
По любой другой информации запрашивайте - предоставлю!
Задача: Оптимизивароть БД и медленные запросы ресурса что бы избежать негативных явления на сервере которые есть сейчас в виде скачков нагрузки на ЦП и постоянного роста расхода оперативной памяти.
-
Есть ли настроенный slow log ? Если есть - есть ли там запросы , если есть - то да их нужно оптимизировать - нет - ну скорее всего проблема не в БД
-
Ну надо его в первую очередь прикрутить , это же покажет - что лагает по бд , для этого он и был придуман
-
Актуальні фриланс-проєкти в категорії Веб-програмування
Розробка сучасного SEO-сайту для кавового фудтраку
44 923 UAH
Шукаю досвідченого розробника, який створить сучасний сайт для мобільної кав'ярні в США з урахуванням вимог SEO. Поточний сайт вже існує, але потрібно розробити новий сайт з нуля, орієнтований на довгострокове просування в Google. Що необхідно: • Розробка сучасного адаптивного… Веб-програмування ∙ 4 години 48 хвилин тому ∙ 37 ставок |
Створити плагін для Chrome, для підключення до проксіСтворити плагін для Chrome, для підключення до проксі шукаю розробника, можливо + ІІ який вже публікував подібні плагіни в сторі успішно просто ІІ написання без досвіду в розробці не потрібно пишіть пропозиції по ціні, термінам AI та машинне навчання, Веб-програмування ∙ 21 година 13 хвилин тому ∙ 27 ставок |
Tik Tok Live node.je
700 UAH
Необхідно написати міні програмку, на базі бібліотеки TT-live-connector, щоб при запуску вона зчитувала Подарунки які надсилаються і через звичайну вебсторінку показувала плавну і красиву анімацію Веб-програмування ∙ 1 день 11 годин тому ∙ 28 ставок |
Створення сайту для бухгалтерскоі фірми на вордпресс ( на готовому шаблоні)
25 000 UAH
Доброго дня. Ми бухгалтерська фірма -хочемо створити сайт для бухгалтерскоі фірми на вордпресс ( на готовому шаблоні) на двох мовах. Який буде оптимизований під пошук гугл та ші . Веб-програмування ∙ 2 дні 15 годин тому ∙ 108 ставок |
Доробка системи обліку робочого часу на ASP.NETПотрібен .NET-розробник для невеликого проекту — системи підрахунку зарплати співробітників. Три завдання: Розгорнути систему на нашому піддомені (домен і доступи надамо). Аудит форми логіна + доопрацювання з безпеки за необхідності. Реалізувати закрите API для вивантаження… Веб-програмування ∙ 2 дні 15 годин тому ∙ 42 ставки |