Parsowanie danych z witryny internetowej i integracja z systemem publikacji danych

Konieczne jest opracowanie rozwiązania programowego do parsowania danych z określonej strony internetowej, która ma skomplikowaną strukturę. Uzyskane dane muszą być przetworzone i umieszczone w tabeli określonego formatu, nadającego się do dalszej publikacji na innej stronie internetowej lub platformie.

**Cel:**

Stworzenie narzędzia do automatycznego wydobywania danych z wskazanej strony internetowej i przekształcania ich w zorganizowaną tabelę, która może być łatwo zintegrowana z systemem publikacji danych.

**Główne zadania:**

1. **Analiza strony internetowej:**

   - Przeprowadzenie analizy docelowej strony internetowej, zidentyfikowanie struktury HTML, JavaScript, AJAX i innych elementów, które mogą być używane do ochrony danych.

   - Określenie możliwych ograniczeń i obejść dla skutecznego parsowania, z wyjątkiem metod omijania CAPTCHA.

2. **Opracowanie parsera:**

   - Stworzenie parsera, który będzie w stanie wydobywać potrzebne dane ze strony według określonych parametrów.

   - Zapewnienie możliwości dynamicznej zmiany parametrów parsowania (np. zmiana URL, zapytań użytkowników itp.).

   - Zrealizowanie wsparcia dla pracy przez proxy w celu ominięcia ograniczeń dotyczących adresów IP.

   - Zrealizowanie logowania i monitorowania procesów parsowania w celu śledzenia błędów i udanych zapytań.

3. **Przetwarzanie danych:**

   - Opracowanie systemu do przekształcania surowych danych w zorganizowaną tabelę (CSV, Excel, bazy danych itp.).

   - Zapewnienie weryfikacji i filtrowania danych w celu usunięcia duplikatów, niepoprawnych lub zbędnych informacji.

4. **Integracja z systemem publikacji:**

   - Stworzenie interfejsu lub API do przesyłania danych do systemu publikacji na innej stronie.

   - Zapewnienie automatycznej aktualizacji danych w przypadku zmian na docelowej stronie.

5. **Testowanie i debugowanie:**

   - Przeprowadzenie testów parsera na różnych przykładach w celu sprawdzenia poprawności działania.

   - Optymalizacja szybkości działania i odporności na możliwe zmiany na docelowej stronie.

**Wymagania dla kandydata:**

- Doświadczenie w opracowywaniu parserów dla stron internetowych o skomplikowanej strukturze.

- Znajomość narzędzi i metod użycia proxy do omijania ograniczeń.

- Doświadczenie w pracy z systemami przechowywania danych (SQL, NoSQL) i formatami danych (JSON, CSV, XML).

- Zrozumienie zasad pracy z API i integracji danych w zewnętrznych systemach.

- Umiejętność dokumentowania kodu i procesów dla dalszego wsparcia projektu.

**Dodatkowe życzenia:**

- Doświadczenie w pracy z dynamicznymi stronami internetowymi (używającymi AJAX, JavaScript).

- Znajomość Pythona, BeautifulSoup, Selenium, Scrapy lub podobnych narzędzi.

- Zrozumienie SEO i zasad rankingowania stron internetowych (pożądane).

**Oczekiwane wyniki:**

- W pełni funkcjonalny parser z możliwością zmiany ustawień.

- Dokumentacja dotycząca użycia i konfiguracji parsera.

- Testy potwierdzające poprawność działania parsera i zgodność wyników.