Tworzenie zautomatyzowanego systemu zbierania danych z dynamicznych stron internetowych

Opis:

Potrzebny profesjonalny programista do opracowania systemu automatyzacji zbierania danych. Projekt obejmuje pracę z dynamicznymi elementami, obejście ograniczeń, możliwość ręcznej edycji parametrów oraz zapewnienie niezawodnej ochrony danych.

Podstawowe zadania:

1. Zbieranie danych:

Automatyzacja wyszukiwania informacji (imię, adres, telefony, numery telefonów biznesowych) na platformie.

Przetwarzanie list krewnych i zbieranie ich danych kontaktowych.

Zapisywanie danych w Google Sheets lub Excel.

2. Elastyczność parametrów wyszukiwania:

Możliwość edytowania parametrów wyszukiwania:

Czas przerw między działaniami (na przykład między wyszukiwaniem przypadków, przechodzeniem między profilami, ładowaniem stron).

Liczba przypadków do przetworzenia na godzinę (parametry ustawień powinny być dostępne przez interfejs programu).

Możliwość szybkiej zmiany ustawień czasu ręcznie w zależności od potrzeb.

3. Praca z dynamicznymi elementami:

Użycie Puppeteer, Selenium lub Playwright do przetwarzania stron z renderowaniem JavaScript.

Zapewnienie stabilnej pracy podczas dynamicznego ładowania danych.

4. Imitacja działań użytkownika:

Randomizacja przerw między działaniami.

Emulacja ruchów myszy, kliknięć i innych interakcji użytkownika.

Losowe przejścia i przerwy w celu zmniejszenia ryzyka blokady.

Imitacja działań użytkownika (ruch myszy, kliknięcia, przewijanie strony, opóźnienie na stronie, przerwy między działaniami)

dodać "ludzkie" opóźnienia, losowe kliknięcia, błędy, ruchy myszy, losowo najechać kursorem nie tam, zatrzymać się na stronie.

Dodać funkcję wyszukiwania po stronie

Dodać imitację myszy i klawiatury

Ruch kursora, losowe kliknięcia, przewijanie przed naciśnięciem przycisku wyszukiwania

5. Obejście ograniczeń:

Użycie proxy i rotacja kont.

Rozwiązanie CAPTCHA (automatyczne+ręczne).

6. Obsługa błędów:

Automatyczne ponowne uruchamianie w przypadku awarii.

Logowanie błędów i powiadomienia.

Ręczny fallback dla krytycznych awarii.

7. Bezpieczeństwo:

Użycie tokenów JWT do ochrony danych.

Szyfrowanie loginów i haseł.

8. Monitorowanie zmian:

Automatyczne śledzenie zmian struktury strony (DOM).

Szybka adaptacja programu do nowych warunków.

9. Dokumentacja i kod źródłowy:

Pełny kod źródłowy z komentarzami.

Instrukcja instalacji, konfiguracji i zmiany parametrów wyszukiwania.

Gwarancje naprawy błędów w ciągu 15 dni.

Wsparcie techniczne przez 30 dni.

Wymagania dla kandydata:

Doświadczenie w pracy z Puppeteer, Selenium lub Playwright, Python, JavaScript (Node.js)

Znajomość proxy i obejścia ochrony antybotowej.

Umiejętności automatyzacji skomplikowanych procesów i pracy z dynamicznymi elementami.

Umiejętność testowania wydajności i usuwania błędów.

Gotowość do dostarczenia dokumentacji i konsultacji dotyczących pracy z programem.

Dodatkowo:

Program ma być elastyczny, z możliwością:

Edytowania czasu przerw.

Ustawienia liczby przypadków na godzinę.

Zarządzania parametrami rotacji kont i proxy.

Wygodny interfejs.

Terminy:

21-31 dni.

Ważne, zawarcie umowy między dwiema stronami jest obowiązkowe!!!