Автоматизированный сбор публичных адресов централизованных бирж (CEX)

Разработана система для автоматического сбора, объединения и дедупликации публично помеченных (tagged) криптокошельков централизованных бирж (CEX) в сетях Ethereum, Arbitrum, Optimism, Base, zkSync и Polygon.
Система получает данные из официальных API и открытых блокчейн-эксплореров, формируя чистую, структурированную базу адрес для дальнейшей аналитики.

Результат:
• Собрано более 2,4 млн строк данных из открытых источников.
• После фильтрации и устранения дубликатов — 1,42 млн уникальных адресов централизованных бирж.
• Данные экспортируются в форматах .csv и .xlsx для дальнейшего использования в аналитических системах.

Технологии:
Python (asyncio, aiohttp), Dune API, CSV/Excel агрегация, AWK, Pandas, автоматическое восстановление после API-лимитов, логирование и обработка больших объемов данных.

Особенности реализации:
• Автоматизированный сбор данных из нескольких источников.
• Параллельная обработка больших объемов (2+ млн строк).
• Алгоритмическая дедупликация и нормализация тегов (Deposit, Custody, SmartWallet).
• Готовность к интеграции с аналитическими или графовыми системами.