Оптимизировать сохранение данных парсера
122 PLNЗдравствуйте.
Есть интернет-магазин бу японских мотоциклов на Вордпрессе. Сервер свой в офисе стоит. В папке wp-content размещён парсер который парсит японские аукционы.
Парсер практически готов, но из-за большого объёма лотов в один поток парсер работает около недели, а надо чтоб он завершался за один день. Я форкнул процесс скачивания изображений и публикацию лотов на 4 основных процесса, каждый из которых скачав картинки 10-ти лотов отдаёт ещё своему дочернему эти 10 лотов на публикацию. Процессор на 8 ядер по 3 Ггц.
Для публикации 10 лотов создаётся постоянное подключение к БД.
Проблема в том что при сохранении данных некоторые данные сохраняются с ошибками.
Есть мнение, что парсеру не хватает ядер, так как в этой части он сам работает в 8 потоков + ещё на сайте постоянно есть посетители, запросы которых нужно обрабатывать.
Задача - оптимизировать сохранение данных в части публикации парсера и проконсультировать на предмет оптимального количества ядер процессора.
Aktualne zlecenia dla freelancerów w kategorii Parsowanie danych
Konsultacja dotycząca parsowania subskrybentów kont InstagramWitam. Konieczne jest przeprowadzenie wstępnej oceny możliwości realizacji następującego zadania. Posiadam listę kont na Instagramie. Celem jest uzyskanie danych kontaktowych (w pierwszej kolejności adresów e-mail) użytkowników, którzy obserwują te konta. Wcześniej spotkałem… Parsowanie danych ∙ 2 dni 13 godzin temu ∙ 12 ofert |
Potrzebny specjalista do wyszukiwania kontaktów decydentów w UkrainieKonieczne jest zebranie bazy (lub gotowej bazy) kontaktów osób podejmujących decyzje (LPR) w firmach Ukrainy. Wyszukiwanie i zbieranie informacji, Parsowanie danych ∙ 2 dni 17 godzin temu ∙ 17 ofert |
Trzeba zeskrobać dane z LinkedIn
Potrzebujemy wyciągnąć dane z LinkedIn według naszej listy. Dla każdego wpisu należy znaleźć i zebrać dostępne dane, jeśli takie są na profilu LinkedIn, w tym zdjęcie profilowe w serwisie społecznościowym LinkedIn, adres e-mail, linki do mediów społecznościowych, stronę… Parsowanie danych ∙ 2 dni 23 godziny temu ∙ 27 ofert |
Parsowanie i klasyfikacja danych
Szukamy dewelopera do realizacji systemu zbierania i strukturyzacji danych z otwartych źródeł. Posiadamy bazę właścicieli małych firm w USA, która zawiera imię i nazwisko, nazwę firmy, adres oraz stan. Należy zbudować proces wzbogacania tych rekordów dodatkowymi informacjami z… Programowanie stron internetowych, Parsowanie danych ∙ 3 dni temu ∙ 41 ofert |
Svitlahata
61 PLN
Potrzebne jest zaimportowanie 1819 produktów z pliku XML/YML Prom.ua do OpenCart 3. Jest gotowy plik XML, który zawiera nazwy produktów, opisy, ceny, zdjęcia, cechy, producentów i kategorie. Wymagane: zaimportować wszystkie produkty do OpenCart 3; utworzyć i powiązać… Content Management Systems, Parsowanie danych ∙ 4 dni 3 godziny temu ∙ 34 oferty |
Dniepr