Post your project for free and start receiving proposals from freelancers within minutes after publication!
The telegram bot / parser makes a lot of user.
Welcome to
Now there is a Parser code that is installed on the server and is running from the telegram bots.
Now parsing is used by many users through telegrams, and the IP uses the fly.io server. Also, with the use of many users, the speed falls.
The task is to make the opportunity to start parsing parallelly and ask for a search by a few words.
This should be added to the already working code.
Now there is a Parser code that is installed on the server and is running from the telegram bots.
Now parsing is used by many users through telegrams, and the IP uses the fly.io server. Also, with the use of many users, the speed falls.
The task is to make the opportunity to start parsing parallelly and ask for a search by a few words.
This should be added to the already working code.
Work results
Attachment viewing is only available registered users.
Client's review of cooperation with Vadym Riabchenko
The telegram bot / parser makes a lot of user.Quality
Professionalism
Cost
Contactability
Deadlines
We will not do anything. The task was more complicated than I described, so the specialist was delighted longer. But the contact was missing on the agreed day of the result.
-
Треба бачити існуючий, все від нього залежить.
Бо може бути так що код жахливий і треба буде писати майже з нуля.
-
Доброго дня!
Щоб додати можливість паралельного запуску парсингу та пошуку по кільком ключовим словам в існуючий Telegram бот, я б запропонував наступне:
- Використати бібліотеку multiprocessing в Python для створення пулу процесів, які будуть виконувати парсинг паралельно.
- При отриманні запиту на пошук, розбити список ключових слів на частини і передати кожній частині окремий процес з пулу.
- Збирати результати з усіх процесів в один список після завершення їх роботи.
- Додати логіку обмеження кількості одночасних процесів, щоб не перевантажувати сервер.
- Оптимізувати швидкодію за допомогою кешування та інших методів.
- Масштабувати рішення за допомогою хмарних сервісів типу AWS, DO, Google Cloud щоб динамічно збільшувати ресурси при зростанні навантаження.
-