Advocaat.be Skrobak

Ten projekt to web scraper oparty na Django, zaprojektowany do zbierania danych o adwokatach z belgijskiego katalogu advocaat.be.

Proces zbierania danych podzielony jest na dwa etapy:

Zbieranie linków: Przechodzenie przez strony wyszukiwania w celu zebrania podstawowych informacji (imiona, linki do profili) i zapisanie ich w bazie danych PostgreSQL.
Wzbogacenie danych: Odwiedzanie każdego zebranego profilu w celu wydobycia szczegółowych informacji (email, telefony, specjalizacje, języki, członkostwo w izbach itp.).