Разместите свой проект бесплатно и начните получать предложения от фрилансеров-исполнителей уже спустя минуты после публикации!
Телеграмм бот / Парсер сделать много пользовательским.
Проект переведен автоматически. Войдите или зарегистрируйтесь, чтобы увидеть оригинал
Сейчас есть код Парсера, установленный на сервере и запускается с телеграмм бота.
Сейчас парсингом пользуется многие пользователи через телеграммы, а ип использует сервер fly.io. Также при использовании многими пользователями, скорость падает.
Задача сделать возможность параллельно запустить парсинг и задать поиск по паре слов.
Это нужно добавить в уже действующий код.
Результаты работы
Просмотр вложений доступен только зарегистрированным пользователям.
Отзыв заказчика о сотрудничестве с Vadym Riabchenko
Телеграмм бот / Парсер сделать много пользовательским.Качество
Профессионализм
Стоимость
Контактность
Сроки
Мы ничего не сделаем. Задача была сложнее, чем я описал, поэтому специалист долго размышлял. Но пропал связь в обсужденный день результата.
-
Треба бачити існуючий, все від нього залежить.
Бо може бути так що код жахливий і треба буде писати майже з нуля.
-
Доброго дня!
Щоб додати можливість паралельного запуску парсингу та пошуку по кільком ключовим словам в існуючий Telegram бот, я б запропонував наступне:
- Використати бібліотеку multiprocessing в Python для створення пулу процесів, які будуть виконувати парсинг паралельно.
- При отриманні запиту на пошук, розбити список ключових слів на частини і передати кожній частині окремий процес з пулу.
- Збирати результати з усіх процесів в один список після завершення їх роботи.
- Додати логіку обмеження кількості одночасних процесів, щоб не перевантажувати сервер.
- Оптимізувати швидкодію за допомогою кешування та інших методів.
- Масштабувати рішення за допомогою хмарних сервісів типу AWS, DO, Google Cloud щоб динамічно збільшувати ресурси при зростанні навантаження.
-