Оптимизировать сохранение спарсенных данных
33 USDЗдравствуйте.
Есть интернет-магазин бу японских мотоциклов на Вордпрессе. Сервер свой в офисе стоит. В папке wp-content размещён парсер который парсит японские аукционы.
Парсер практически готов, но из-за большого объёма лотов в один поток парсер работает около недели, а надо чтоб он завершался за один день. Я форкнул процесс скачивания изображений и публикацию лотов на 4 основных процесса, каждый из которых скачав картинки 10-ти лотов отдаёт ещё своему дочернему эти 10 лотов на публикацию. Процессор на 8 ядер по 3 Ггц.
Для публикации 10 лотов создаётся постоянное подключение к БД.
Проблема в том что при сохранении данных некоторые данные сохраняются с ошибками.
Есть мнение, что парсеру не хватает ядер, так как в этой части он сам работает в 8 потоков + ещё на сайте постоянно есть посетители, запросы которых нужно обрабатывать.
Задача - оптимизировать сохранение данных в части публикации парсера и проконсультировать на предмет оптимального количества ядер процессора.
P.S. Основная часть кода парсера в одном файле = 5000 строк.
Current freelance projects in the category Data Parsing
I am looking for a programmer for OpenCart.Good day 1) It is necessary to implement on the website dneprkomfort.dp.ua A module for Ukrainian banks has been purchased, and we have already integrated Mono Bank Here is an example from our competitor It is necessary to implement installment payments, purchase in parts… Web Programming, Data Parsing ∙ 1 hour 51 minutes back ∙ 15 proposals |
A specialist in Telegram promotion is required.
29 USD
Tasks: invite real users from the username database to new chats and send messages to the target database. Only quality traffic and work with a live audience are of interest — performers using bots, fake engagement, or low-quality methods are requested NOT TO DISTURB. Work… Data Parsing, Social Media Marketing (SMM) ∙ 4 days 4 hours back ∙ 9 proposals |
Consultation on parsing Instagram account subscribersHello. It is necessary to conduct a preliminary assessment of the feasibility of the following task. I have a list of Instagram accounts. The goal is to obtain contact information (primarily email addresses) of users who follow these accounts. Previously, I encountered companies… Data Parsing ∙ 7 days 23 hours back ∙ 13 proposals |
A specialist is needed to find contacts of decision-makers in Ukraine.It is necessary to gather a database (or ready database) of contacts of decision-makers (DMs) in companies in Ukraine. Information Gathering, Data Parsing ∙ 8 days 3 hours back ∙ 21 proposals |
Need to scrape data from LinkedIn
We need to scrape data from LinkedIn based on our list. For each entry, we need to find and collect available data if it exists on the LinkedIn profile, including the profile picture on the LinkedIn social network, email address, links to social media, company website, and… Data Parsing ∙ 8 days 9 hours back ∙ 28 proposals |
Dnepr