Zautomatyzowane zbieranie publicznych adresów scentralizowanych giełd (CEX)

Opracowano system do automatycznego zbierania, łączenia i deduplikacji publicznie oznaczonych (tagowanych) portfeli kryptograficznych centralnych giełd (CEX) w sieciach Ethereum, Arbitrum, Optimism, Base, zkSync i Polygon. System pozyskuje dane z oficjalnych API oraz otwartych eksploratorów blockchain, tworząc czystą, uporządkowaną bazę adresów do dalszej analizy.

Wynik:
• Zebrano ponad 2,4 mln wierszy danych z otwartych źródeł.
• Po filtracji i usunięciu duplikatów — 1,42 mln unikalnych adresów centralnych giełd.
• Dane eksportowane są w formatach .csv i .xlsx do dalszego wykorzystania w systemach analitycznych.

Technologie:
Python (asyncio, aiohttp), Dune API, agregacja CSV/Excel, AWK, Pandas, automatyczne odzyskiwanie po limitach API, logowanie i przetwarzanie dużych zbiorów danych.

Cechy realizacji:
• Zautomatyzowane zbieranie danych z kilku źródeł.
• Równoległe przetwarzanie dużych zbiorów (2+ mln wierszy).
• Algorytmiczna deduplikacja i normalizacja tagów (Deposit, Custody, SmartWallet).
• Gotowość do integracji z systemami analitycznymi lub grafowymi.