Stworzyć zapytanie GET

Budżet: 700 UAH Termin: 7 dni

Witam, niedawno robiłem podobny wysokoobciążony wysyłacz zapytań: pula połączeń, asynchroniczni pracownicy, batching i kontrola limitu szybkości do 100-200k zapytań na minutę. Retrie z backoffem i kolejka na nieudane zapytania były częścią tego samego rozwiązania.

Jeśli zapytania idą do zewnętrznego API z limitami, warto od razu wprowadzić kolejkę i adaptacyjny throttle, to ratuje przed banami i utratą danych przy szczytowym obciążeniu.

Gdzie dokładnie wysyła zapytania - na swój serwer czy zewnętrzne API, i czy ma on limit na liczbę na minutę? I gdzie to ma działać - jednorazowe uruchomienie czy stała usługa?

Proponuję się skontaktować, przy okazji naszkicuję schemat rozwiązania z kolejką i pracownikami pod wasze 200k na minutę.

Budżet: 2500 UAH Termin: 2 dni

Cześć! Mogę to zrobić pilnie.

Proszę o wyjaśnienie, na jaki URL należy wysyłać zapytania GET, czy potrzebne są unikalne parametry, czy po prostu takie same zapytania, z jakiego serwera będzie uruchomienie i czy wymagane jest 100–200 tys. zapytań na minutę z jednego serwera, czy dopuszczona jest rozproszona wysyłka.

Budżet: 700 UAH Termin: 2 dni

Anton, zadanie polega na zapewnieniu wysokiej przepustowości dla zapytań GET, gdzie głównym wyzwaniem nie jest sam kod zapytania, ale efektywna praca z stosami sieciowymi i unikanie blokowania po stronie serwera przy takim obciążeniu. Dla stabilnej pracy 200k zapytań na minutę należy używać asynchronicznych wątków oraz optymalizacji połączeń, aby nie marnować zasobów na nawiązywanie nowych sesji. W jaki sposób planujesz przetwarzać odpowiedzi od serwera przy takiej intensywności, czy trzeba je gdzieś przechowywać lub analizować w czasie rzeczywistym?