Parser publicznych danych firm z 3 otwartych źródeł

Zautomatyzowane zbieranie danych o organizacjach sektora publicznego

Zadanie:
Opracować narzędzie do zbierania i strukturyzowania danych o organizacjach publicznych z otwartych źródeł online, z dalszym eksportem do wygodnego formatu Excel.

Źródła integracji:

YouControl (analiza i dossier firm w Ukrainie)

Clarity Project (przetargi i przejrzystość zamówień publicznych)

Zakupivli.pro (Prozorro – publiczne zamówienia państwowe)

Główne etapy pracy:

Wyszukiwanie i zbieranie podstawowych danych

nazwa organizacji

kod EDRPOU

region

adres

osoby odpowiedzialne

Zbieranie informacji kontaktowych

telefony

email

inne dostępne kanały komunikacji

Tworzenie jednolitej bazy danych

unifikacja pól

oczyszczanie i strukturyzowanie danych

eksport do .xlsx (Excel)

Wynik:
Klient otrzymał wygodny plik Excel z pełną bazą organizacji, który można wykorzystać do analizy, poszukiwania partnerów, monitorowania lub zadań marketingowych.

Technologie:

Python (Requests, BeautifulSoup, Selenium)

pandas, openpyxl

Przetwarzanie i normalizacja danych