Оптимизировать сохранение данных парсера
1500 UAHЗдравствуйте.
Есть интернет-магазин бу японских мотоциклов на Вордпрессе. Сервер свой в офисе стоит. В папке wp-content размещён парсер который парсит японские аукционы.
Парсер практически готов, но из-за большого объёма лотов в один поток парсер работает около недели, а надо чтоб он завершался за один день. Я форкнул процесс скачивания изображений и публикацию лотов на 4 основных процесса, каждый из которых скачав картинки 10-ти лотов отдаёт ещё своему дочернему эти 10 лотов на публикацию. Процессор на 8 ядер по 3 Ггц.
Для публикации 10 лотов создаётся постоянное подключение к БД.
Проблема в том что при сохранении данных некоторые данные сохраняются с ошибками.
Есть мнение, что парсеру не хватает ядер, так как в этой части он сам работает в 8 потоков + ещё на сайте постоянно есть посетители, запросы которых нужно обрабатывать.
Задача - оптимизировать сохранение данных в части публикации парсера и проконсультировать на предмет оптимального количества ядер процессора.
Актуальные фриланс-проекты в категории PHP
Прописать мета данные АЛЬТ при помощи ИИСайт на Laravel , на сайте много изображений, для которых нужно прописать корректные по семантики и релевантные для странице АЛЬТ описание изображения в автоматическом режиме, с возможностью проверки AI и машинное обучение, PHP ∙ 11 часов 54 минуты назад ∙ 19 ставок |
Доработка сайта на Ocstore 3
700 UAH
Ocstore 3 Шаблон Upstore Поправить некоторые моменты https://docs.google.com/document/d/1-TmTo3lh_ElFjPMQCGs2sVCsVSzq-V-Z/edit?usp=sharing&ouid=105344407605205919725&rtpof=true&sd=true Ожидаю ваши предложения PHP, Веб-программирование ∙ 15 часов 34 минуты назад ∙ 55 ставок |
Нужен разработчик для завершения и интеграции проекта по автоматическому сбору и обработке данных
700 UAH
Основная часть парсера уже реализована. Парсер работает на Windows-среде через Microsoft Edge: сайт имеет антибот-защиту, поэтому сбор данных выполняется не прямыми HTTP-запросами, а через живую браузерную сессию. Скрипты управляют открытой вкладкой Edge через Chrome DevTools… PHP, Веб-программирование ∙ 17 часов 50 минут назад ∙ 19 ставок |
Обновление плагинов и тем WP сайт putevka.uz«Нужно провести технический аудит WordPress-сайта, проверить актуальность, безопасность и совместимость установленных плагинов и темы. По результатам — предложить легальные варианты обновления, замены устаревших решений или перехода на официально доступные аналоги. Платные… HTML и CSS верстка, PHP ∙ 20 часов 27 минут назад ∙ 34 ставки |
Интеграция блока "Где смотреть" (Laravel / Livewire)Необходимо реализовать интеграцию внешней стриминговой платформы для сайта о фильмах и сериалах на Laravel / Livewire. Что нужно сделать: Реализовать импорт внешнего каталога контента, который обновляется 1 раз в день. Выполнять матчинг контента по IMDb ID и/или TMDB ID. Если… PHP, Веб-программирование ∙ 1 день 10 часов назад ∙ 36 ставок |
Днепр