Многопоточный парсер одной страницы
Требуется сделать очень быстрый многопоточный парсер одной страницы (данные в JSON формате, 10кб)
Далее запись в MySQL БД
Потребуется поддержка соксов
Скорость нужна – 4000 записей в секунду уже в БД, то есть потоков как минимум столько же
Ресурсы по серверу – чем менее требовательно будет, тем лучше. На Python сейчас 52 ядра работает, что слишком много.
Ждем ваших предложений по технологии и бюджету.
Спасибо
-
Я могу ошибаться но если у вас физически 52 потока например то програмно одновременно можна запустить только 52. Да вы можете создать 4000 потоков но они просто будут стоять в очереди и так еще больше перегружать систему. Если я не прав прошу поправить меня.
-
Current freelance projects in the category Web Programming
Responsive Portolio Website Design ( wordap - selling and buying website )I need a clean, modern portfolio site that follows my existing brand guide and adapts beautifully to desktop, tablet, and mobile. The site’s job is simple: highlight my work through high-impact photos, embedded videos, and detailed case studies so visitors immediately understand… Content Management Systems, Web Programming ∙ 7 hours 36 minutes back ∙ 21 proposals |
Moved the website from OpenCart to the Khoroshop platformHello. There is a website on OpenCart, an online store. It is necessary to transfer the structure of the site to the GoodShop platform, select a design for the new site, and make it fully functional. HTML & CSS, Web Programming ∙ 11 hours 17 minutes back ∙ 20 proposals |
Making edits to the website (WP, Elementor)Good day. We need to make 2 changes to the website: 1. The main menu "jumps" when hovering the cursor, plus in the Ukrainian version it is vertically centered (as it should be), while in the Russian version it is not centered, at the top. We need to center the Russian version… Web Programming ∙ 13 hours 53 minutes back ∙ 54 proposals |
It is necessary to modernize the admin panel in Open Cart for convenience.Technical assignment for configuring/improving OpenCart 1. Catalog → Products Task 1. Add a "Category" column to the product list Task 2. Add a "SKU" column to the product list Task 3. Add a "Creation date and time of the product" column Task 4. Quick edit of main product data… Web Programming ∙ 14 hours 9 minutes back ∙ 44 proposals |
Improvement of the catalog for the websiteFor the catalog website, improvements need to be made: (the work can be divided into stages or taken by qualification part) 1. In the admin panel, the ability to upload SQL files for updating prices (in the archive it is price_balluff_2026_for_site.sql). (currently they are… AI Content Creation, Web Programming ∙ 14 hours 17 minutes back ∙ 28 proposals |
Kyiv