Autoria-Parser

Projektbeschreibung:
Entwicklung eines skalierbaren Parsers für Anzeigen von Auto.ria (Automobil-Marktplatz) zur Sammlung detaillierter Daten über Autos: Marke/Modell, Jahr, Kilometerstand, Preis, Ausstattung, Link zu Fotos, Kontaktdaten des Verkäufers und andere Metadaten. Der Parser wurde unter Berücksichtigung der realen Einschränkungen der Plattformen entworfen: Es wird eine Proxy-Rotation, Änderung des User-Agents, Kontrolle der Parallelität und Schutz vor Anti-Bot-Mechanismen verwendet – all dies ermöglicht eine stabile Sammlung großer Datenmengen bei minimalem Risiko von Sperrungen.

Funktionalität:

Massenhafte Sammlung von Anzeigen (nach Kategorien, Filtern, Preisspannen, Regionen).

Sammlung des vollständigen Satzes an Feldern: Titel, Beschreibung, Eigenschaften, Preis, Standort, Foto/Galerie, Kontaktdaten, Veröffentlichungsdatum.

Unterstützung von Paginierung, dynamischem Laden und AJAX-Teilen von Seiten.

Proxy-Rotation (residential/datacenter), Lastverteilung nach IP und Geografie.

Dynamische Änderung des User-Agents und anderer HTTP-Header.

Semaphore und Throttling – Kontrolle der Parallelität, um die Plattform nicht zu überlasten.

Verarbeitung von Captchas (Integration mit Entschlüsselungsdiensten bei Bedarf) und respektvolle Backoff-Strategien bei Fehlern.

Deduplication von Einträgen (nach eindeutiger ID oder URL), inkrementelle Updates und (optional) Verfolgung von Änderungen in den Anzeigen.

Speicherung in benutzerfreundlichen Formaten: PostgreSQL/SQLite, CSV, Excel; Export für Analysen.

Protokollierung, Metriken und Monitoring (Anzahl der gesammelten Anzeigen, Fehler, Health-Check).