Многопоточный парсер одной страницы
Требуется сделать очень быстрый многопоточный парсер одной страницы (данные в JSON формате, 10кб)
Далее запись в MySQL БД
Потребуется поддержка соксов
Скорость нужна – 4000 записей в секунду уже в БД, то есть потоков как минимум столько же
Ресурсы по серверу – чем менее требовательно будет, тем лучше. На Python сейчас 52 ядра работает, что слишком много.
Ждем ваших предложений по технологии и бюджету.
Спасибо
-
Я могу ошибаться но если у вас физически 52 потока например то програмно одновременно можна запустить только 52. Да вы можете создать 4000 потоков но они просто будут стоять в очереди и так еще больше перегружать систему. Если я не прав прошу поправить меня.
-
Актуальні фриланс-проєкти в категорії Веб-програмування
≈5 мікросервісів на FastAPI + правки та рефакторинг
15 719 UAH
Є проект, що складається приблизно з ~11 мікросервісів на FastAPI з інтеграціями, який більш ніж на половину готовий. Завдання - доробити решту ~5 мікросервісів (конкретніше - subscription/billing та інтеграція з Revenuecat, захист від зловживань для білінгу, Notifications,… Python, Веб-програмування ∙ 45 хвилин тому ∙ 12 ставок |
Адаптивний дизайн портфоліо вебсайту (wordap - сайт для продажу та купівлі)Мені потрібен чистий, сучасний портфоліо-сайт, який відповідає моєму існуючому брендовому посібнику і гарно адаптується до настільних комп'ютерів, планшетів і мобільних пристроїв. Завдання сайту просте: підкреслити мою роботу за допомогою вражаючих фотографій, вбудованих відео… CMS, Веб-програмування ∙ 15 годин 32 хвилини тому ∙ 31 ставка |
Переніс сайта з опенкарту на платформу ХорошопДобрий день. Є сайт на опенкарті, інтернет магазин. Потрібно перенести струкутуру сайту на платформу хорошоп, підібрати дизайн для нового сайту та зробити його повноцінно працюючим HTML та CSS верстання, Веб-програмування ∙ 19 годин 12 хвилин тому ∙ 25 ставок |
Внесення правок на сайт (WP, Elementor)Доброго дня. Треба внести 2 правки на сайт: 1. Мейн меню "пляше" при наведенні курсора, плюс на укр версії воно центровано по вертикалі (так і повинно бути), а в ру - без центровки, зверху. Треба відцентрувати ру як в укр 2. На головній сторінці є блок "наші продукти", там… Веб-програмування ∙ 21 година 48 хвилин тому ∙ 67 ставок |
Необхідно модернізувати для зручності адмінку в Open CartТехнічне завдання по налаштуванню/доопрацюванню OpenCart 1. Каталог → Товари Завдання 1. Додати колонку «Категорія» у список товарів Завдання 2. Додати колонку «Артикул» у список товарів Завдання 3. Додати колонку «Дата і час створення товару» Завдання 4. Швидке редагування… Веб-програмування ∙ 22 години 5 хвилин тому ∙ 54 ставки |
Київ