Бюджет: 700 UAH Срок: 7 дней
Здравствуйте, я недавно делал похожий высоконагруженный отправитель запросов: пул соединений, асинхронные работники, батчинг и контроль rate limit под 100-200к запросов в минуту. Ретраи с бэкофом и очередь на неудачные запросы были частью того же решения.
Если запросы идут на внешний API с лимитами, стоит сразу заложить очередь и адаптивный throttle, это спасает от банов и потери данных под пиковым нагрузкой.
Куда именно шлет запросы - на свой сервер или внешний API, и есть ли у него лимит на количество в минуту? И где это должно крутиться - разовый запуск или постоянный сервис?
Предлагаю связаться, сейчас же накидаю схему решения с очередью и работниками под ваши 200к в минуту.