Оптимизировать сохранение спарсенных данных
1500 UAHЗдравствуйте.
Есть интернет-магазин бу японских мотоциклов на Вордпрессе. Сервер свой в офисе стоит. В папке wp-content размещён парсер который парсит японские аукционы.
Парсер практически готов, но из-за большого объёма лотов в один поток парсер работает около недели, а надо чтоб он завершался за один день. Я форкнул процесс скачивания изображений и публикацию лотов на 4 основных процесса, каждый из которых скачав картинки 10-ти лотов отдаёт ещё своему дочернему эти 10 лотов на публикацию. Процессор на 8 ядер по 3 Ггц.
Для публикации 10 лотов создаётся постоянное подключение к БД.
Проблема в том что при сохранении данных некоторые данные сохраняются с ошибками.
Есть мнение, что парсеру не хватает ядер, так как в этой части он сам работает в 8 потоков + ещё на сайте постоянно есть посетители, запросы которых нужно обрабатывать.
Задача - оптимизировать сохранение данных в части публикации парсера и проконсультировать на предмет оптимального количества ядер процессора.
P.S. Основная часть кода парсера в одном файле = 5000 строк.
Актуальні фриланс-проєкти в категорії PHP
Розробник на проект CMS-сайт на Drupal 7 + PHP/MySQL.Шукаємо розробника для допомоги з налаштуванням CMS-сайту на Drupal 7 + PHP/MySQL. Задача:1. Зробити карточки товару на весь асортимент товару (наразі на сайті не на всіх товарах є карточки товару з описом та характеристиками).2. Додати вірні характеристики на всі товари.3.… CMS, PHP ∙ 1 година 24 хвилини тому ∙ 17 ставок |
Шукаємо спеціаліста Bitrix24 / інтегратора CRM для налаштування автоматизаціїНаша компанія працює з CRM Bitrix24. Нам потрібен спеціаліст, який зможе налаштувати автоматичне додавання номера телефону в ліди/замовлення в двох форматах. Автоматизація повинна бути коректно налаштована для двох країн: Республіка Молдова та Румунія. Завдання: При створенні… PHP, Веб-програмування ∙ 23 години 48 хвилин тому ∙ 22 ставки |
Додати бігову стрічку в шапку сайту
700 UAH
https://crazybox.com.ua/uk?srsltid=AfmBOopQRUXCCmxx699n57B3eP1XmwcYxJxwPh9qV9WcVjLjS_J2pK5s ось приклад як виглядає у них, потрібно зробити по їх подібію а на цьому потрібно зробити https://rollershop.com.ua/ опенкарт ocStore 3.0.3.7. і щоб була можливість редагувати текст… PHP, Веб-програмування ∙ 1 день 17 годин тому ∙ 87 ставок |
Оптимізація сайту
Оптимізація сайту jdgreta.co.uk на Shopify. Сео аудит додано до проекту. Основні завдання - - Виправити всі мета дані - Виконати ТЗ для програміста (оскільки в цьому проекті поєднані завдання для програміста та СЕО, якщо ви не компанія - можете скористатися допомогою) -… HTML та CSS верстання, PHP ∙ 1 день 19 годин тому ∙ 30 ставок |
Спеціаліст по HoroshopПотрібен спеціаліст який зможе правильно налаштувати товарний Feed. Проблема: Зараз понад 13 000 товарів вивантажуються з однаковим значенням типу (напр. «все для манікюру та педикюру»). Через це в Google Ads неможливо розділити товари на сегменти й задати різні рекламні… PHP, Супровід сайтів ∙ 2 дні 22 години тому ∙ 21 ставка |
Дніпро