Witaj,
Poszukujemy wysoko wykwalifikowanego specjalisty ds. ekstrakcji danych z udokumentowaną zdolnością do pracy z systemami chronionymi przez Imperva WAF.
Twoje zadanie:
Pobierz identyfikatory rekordów z naszego API
Zapytaj zabezpieczony system dostępu do danych elektronicznych, używając tych identyfikatorów
Uzyskaj szczegółowe widoki rekordów za pośrednictwem interfejsu online lub punktów końcowych backendu
Wyodrębnij pięć strukturalnych sekcji danych na rekord (Sekcje 1–5)
Zapisz pełne ciało odpowiedzi HTML dla każdej sekcji
Wyślij zebrane ładunki HTML do naszego punktu końcowego API w celu dalszego przetwarzania
Wymagania dotyczące wydajności:
Minimalna przepustowość: 40 000 rekordów dziennie na pojedynczym VPS
Ciężka, stabilna praca
Efektywne zarządzanie sesjami, limitami prędkości i mechanizmami przeciwdziałania nadużyciom
Wymagania techniczne:
Możliwość obejścia lub ominięcia zabezpieczeń Imperva WAF (403, wyzwania, wykrywanie behawioralne)
Rozwiązanie musi działać na naszym VPS
Stos technologiczny, metodologia i strategia wykonania są całkowicie w gestii wykonawcy
Solidne zarządzanie błędami i logika ponownego próbowania
Zapewniamy:
Dostęp do IP z rezydencji
Dostęp do API dla wejścia (identyfikatory rekordów) i wyjścia (dane HTML)
Kryteria akceptacji:
Osiągnięcie co najmniej 40 tys. przetworzonych rekordów w ciągu 24 godzin
Stabilna praca przez 4 kolejne dni
Brak trwałego blokowania lub degradacji (np. uporczywe odpowiedzi 403)
Proszę aplikować tylko jeśli masz rzeczywiste, praktyczne doświadczenie z:
Środowiskami chronionymi przez Imperva
Systemami ekstrakcji danych na dużą skalę, klasy produkcyjnej
Czekamy na aplikacje.
