Оптимизировать сохранение спарсенных данных
1500 UAHЗдравствуйте.
Есть интернет-магазин бу японских мотоциклов на Вордпрессе. Сервер свой в офисе стоит. В папке wp-content размещён парсер который парсит японские аукционы.
Парсер практически готов, но из-за большого объёма лотов в один поток парсер работает около недели, а надо чтоб он завершался за один день. Я форкнул процесс скачивания изображений и публикацию лотов на 4 основных процесса, каждый из которых скачав картинки 10-ти лотов отдаёт ещё своему дочернему эти 10 лотов на публикацию. Процессор на 8 ядер по 3 Ггц.
Для публикации 10 лотов создаётся постоянное подключение к БД.
Проблема в том что при сохранении данных некоторые данные сохраняются с ошибками.
Есть мнение, что парсеру не хватает ядер, так как в этой части он сам работает в 8 потоков + ещё на сайте постоянно есть посетители, запросы которых нужно обрабатывать.
Задача - оптимизировать сохранение данных в части публикации парсера и проконсультировать на предмет оптимального количества ядер процессора.
P.S. Основная часть кода парсера в одном файле = 5000 строк.
Актуальні фриланс-проєкти в категорії PHP
Шукаємо спеціаліста Bitrix24 / інтегратора CRM для налаштування автоматизаціїНаша компанія працює з CRM Bitrix24. Нам потрібен спеціаліст, який зможе налаштувати автоматичне додавання номера телефону в ліди/замовлення в двох форматах. Автоматизація повинна бути коректно налаштована для двох країн: Республіка Молдова та Румунія. Завдання: При створенні… PHP, Веб-програмування ∙ 17 годин 3 хвилини тому ∙ 22 ставки |
Додати бігову стрічку в шапку сайту
700 UAH
https://crazybox.com.ua/uk?srsltid=AfmBOopQRUXCCmxx699n57B3eP1XmwcYxJxwPh9qV9WcVjLjS_J2pK5s ось приклад як виглядає у них, потрібно зробити по їх подібію а на цьому потрібно зробити https://rollershop.com.ua/ опенкарт ocStore 3.0.3.7. і щоб була можливість редагувати текст… PHP, Веб-програмування ∙ 1 день 10 годин тому ∙ 87 ставок |
Оптимізація сайту
Оптимізація сайту jdgreta.co.uk на Shopify. Сео аудит додано до проекту. Основні завдання - - Виправити всі мета дані - Виконати ТЗ для програміста (оскільки в цьому проекті поєднані завдання для програміста та СЕО, якщо ви не компанія - можете скористатися допомогою) -… HTML та CSS верстання, PHP ∙ 1 день 13 годин тому ∙ 30 ставок |
Спеціаліст по HoroshopПотрібен спеціаліст який зможе правильно налаштувати товарний Feed. Проблема: Зараз понад 13 000 товарів вивантажуються з однаковим значенням типу (напр. «все для манікюру та педикюру»). Через це в Google Ads неможливо розділити товари на сегменти й задати різні рекламні… PHP, Супровід сайтів ∙ 2 дні 15 годин тому ∙ 21 ставка |
Зробити щоб листи про замовлення з магазину не потрапляли в спамЗараз є магазин на опенкарті, листи про замовлення потрапляють до спаму, треба зробити так щоб потрапляли в Вхідні (ukr.net gmail) перевірити. хостинг написав: Погана доставка електронної пошти може бути пов'язана з низькою репутацією відправника - IP або домену. У такому… PHP, Веб-програмування ∙ 3 дні 16 годин тому ∙ 47 ставок |
Дніпро