Автоматизований збір публічних адрес централізованих бірж (CEX)
Парсинг даних
Розроблено систему для автоматичного збору, об’єднання та дедуплікації публічно позначених (tagged) криптогаманців централізованих бірж (CEX) у мережах Ethereum, Arbitrum, Optimism, Base, zkSync та Polygon.
Система отримує дані з офіційних API та відкритих блокчейн-експлорерів, формуючи чисту, структуровану базу адрес для подальшої аналітики.
Результат:
• Зібрано понад 2,4 млн рядків даних із відкритих джерел.
• Після фільтрації та усунення дублікатів — 1,42 млн унікальних адрес централізованих бірж.
• Дані експортуються у форматах .csv та .xlsx для подальшого використання в аналітичних системах.
Технології:
Python (asyncio, aiohttp), Dune API, CSV/Excel aggregation, AWK, Pandas, автоматичне відновлення після API-лімітів, логування та обробка великих обсягів даних.
Особливості реалізації:
• Автоматизований збір даних із кількох джерел.
• Паралельна обробка великих обсягів (2+ млн рядків).
• Алгоритмічна дедуплікація й нормалізація тегів (Deposit, Custody, SmartWallet).
• Готовність до інтеграції з аналітичними або графовими системами.
Система отримує дані з офіційних API та відкритих блокчейн-експлорерів, формуючи чисту, структуровану базу адрес для подальшої аналітики.
Результат:
• Зібрано понад 2,4 млн рядків даних із відкритих джерел.
• Після фільтрації та усунення дублікатів — 1,42 млн унікальних адрес централізованих бірж.
• Дані експортуються у форматах .csv та .xlsx для подальшого використання в аналітичних системах.
Технології:
Python (asyncio, aiohttp), Dune API, CSV/Excel aggregation, AWK, Pandas, автоматичне відновлення після API-лімітів, логування та обробка великих обсягів даних.
Особливості реалізації:
• Автоматизований збір даних із кількох джерел.
• Паралельна обробка великих обсягів (2+ млн рядків).
• Алгоритмічна дедуплікація й нормалізація тегів (Deposit, Custody, SmartWallet).
• Готовність до інтеграції з аналітичними або графовими системами.