Парсер замовлення

Шукаю розробника Python для створення стабільного парсера вакансій із сайту Bundesagentur für Arbeit (https://www.arbeitsagentur.de/jobsuche/.
Фінальний інструмент має збирати вакансії зі списку та jobdetail-сторінок, застосовувати обов’язкові фільтри й повертати структуровану таблицю під мої колонки.

У проєкті передбачено простий дашборд (веб-інтерфейс), щоб я міг сам запускати збір (ключове слово, місто/радіус, період публікації), натиснути «Старт» і отримати готовий Excel/CSV/Google Sheet.

Важливо: на BA є капча (hCaptcha).

Матеріали, які я прикріплю до проєкту

1. Job Page.png — показує, де саме брати: Position, Unternehmen, Straße und Hausnummer, PLZ/Ort, Ansprechperson (AP), Telefon, E-Mail, Homepage, Veröffentlichungsdatum, Referenz-Nr. (nr.), Einsatzort, Link auf Anzeige.

2. Filters BA.png — показує, які фільтри обов’язково вмикати перед парсингом:

   • Zeitarbeit ausschließen (виключити)

   • Externe Stellenbörsen ausschließen (виключити)

   • Veröffentlichungsdatum (період: 24h / 7 днів / 14 днів / 1 місяць)

3. Mailing Datenbank.xlsx — еталон коло́нок, які треба заповнювати (можна брати назви стовпців прямо з цього файлу).

4. 
   

Колонки вихідної таблиці (точно як у файлі)

– Datum Scraping
– Veröffentlichungsdatum
– nr. (Referenz-Nr.)
– Position
– Unternehmen
– Straße und Hausnummer
– PLZ, Ort
– Telefon
– Internet (Homepage)
– Ansprechperson (AP)
– E-Mail – AP Firma
– Einsatzort
– Link auf Anzeige
– alle stellen

Якщо поле відсутнє на сторінці — ставити empty.

Фільтри (обов’язково)

• Zeitarbeit = false (жодної Zeitarbeit у результаті)

• Externe Stellenbörsen = ausblenden (відсікти зовнішні біржі)

• Veröffentlichungsdatum = останні X днів (за параметром у дашборді, 24h / 7 днів / 14 днів / 1 місяць)

• 
  

Дедуплікація

• Первинний ключ: Referenz-Nr. (nr.)

Вимоги до якості даних

• Адреса розбита: Street / PLZ / Ort

• Телефон/Email — чисті значення (без «E+11», без зайвих символів)

• Job URL — клікабельний URL картки вакансії (не внутрішній ID)

• Veröffentlichungsdatum: якщо «vor X Tagen» — конвертувати у точну дату

Технічні вимоги

• Повторний запуск не створює дублікатів.

Дашборд (мінімальний)

• Поля: ключове слово, місто/радіус, період публікації (24h/7/14/30), чекбокси  фільтри Zeitarbeit/Externe 

• Кнопка Start → після виконання дає скачати Excel та  — пуш у Google Sheet).

• 
  

Критерії приймання

1. Вивід Excel/CSV рівно за структурою «Mailing Datenbank.xlsx» (назви колонок з файлу).

2. Випадкова перевірка 50 вакансій: адреси розбиті, контакти чисті, Veröffentlichungsdatum — точними датами, URL відкриваються.

3. Якщо даних немає — у відповідній колонці стоїть empty.

4. README з інструкцією та коротким звітом (скільки зібрано, відсіяно Zeitarbeit/Externe, кількість дублікатів, кількість 429/5xx, як оброблялась капча).

Етапність і тест

• Тестове завдання (обов’язкове): зібрати 20 вакансій «Lagermitarbeiter/in» за 7 днів, застосувавши фільтри; віддати Excel/CSV за структурою файлу; відсутні поля позначити empty.

• Етап 1 (контракт): повний парсер BA + дедуплікація + правило empty + вивід у Excel/CSV.