Телеграм бот / Парсер сделать много пользовательским.
900 UAHвітаю
Зараз є код Парсера, встановлений на сервері і запускається з телеграм бота.
Зараз парсингом користується багато користувачів через телеграм, а іп використовує серверна fly.io. Також при використанні багатьма користувачами, скорості падає.
Завдання зробити можливість паралельно запускати парсінг та задавати пошук по кільком словам.
Це треба додати в вже працюючий код.
Результати роботи
Відгук замовника про співпрацю з Vadym Riabchenko
Телеграм бот / Парсер сделать много пользовательским.Нічого не зроблемо. Задача була складніша ніж я описав, тому спеціаліст довше розбирався. Але пропав звʼязок в оговорений день результату.
-
Треба бачити існуючий, все від нього залежить.
Бо може бути так що код жахливий і треба буде писати майже з нуля.
-
Доброго дня!
Щоб додати можливість паралельного запуску парсингу та пошуку по кільком ключовим словам в існуючий Telegram бот, я б запропонував наступне:
- Використати бібліотеку multiprocessing в Python для створення пулу процесів, які будуть виконувати парсинг паралельно.
- При отриманні запиту на пошук, розбити список ключових слів на частини і передати кожній частині окремий процес з пулу.
- Збирати результати з усіх процесів в один список після завершення їх роботи.
- Додати логіку обмеження кількості одночасних процесів, щоб не перевантажувати сервер.
- Оптимізувати швидкодію за допомогою кешування та інших методів.
- Масштабувати рішення за допомогою хмарних сервісів типу AWS, DO, Google Cloud щоб динамічно збільшувати ресурси при зростанні навантаження.
-