Збір інформації про транзакції з thegraph.com

Короткий опис:

 Задача — зібрати інформацію про транзакції на платформі Uniswap V3 (з thegraph.com). Проєкт складається з двох частин. На цьому етапі потрібна кошторис для першої частини – збору історичних даних. Необхідно створити два скрепери/парсери:

1. для збору історичних даних (запускається за потребою, для збору даних з користувачем вказаного тимчасового інтервалу) — вкажіть лише вартість цієї частини.

2. Парсер у реальному часі, який постійно збирає дані, що надходять у thegraph.com з мінімальною затримкою (ця частина буде зроблена пізніше, після успішного завершення першої частини)

На цьому етапі ми шукаємо людину, яка зможе створити скрепер/парсер історичних даних. Тому, будь ласка, повідомте свою кошторис і часові рамки лише для цієї частини. Дані збираємо через API, вони відкриті, тобто не захищені captcha та іншими методами. Якщо ця частина буде успішною, ми продовжимо роботу над парсером даних у реальному часі.

Для першої частини — збору історичних даних потрібно добре знати Python, MySQL, мати досвід створення парсерів, роботу з API.

Для другої частини проєкту потрібно вміти працювати з Redis, Docker, Google Pub/Sub та парсингом даних у реальному часі.

Система зберігає всі дані про транзакції у базі даних MySQL, запускає фонові задачі за допомогою cron та підтримується у робочому стані й контролюється за допомогою PM2. Рішення повністю базується на бекенді без фронтенду, розгорнуто на сервері VPS.

Ми шукаємо досвідченого та надійного інженера з даних / бекенд-розробника для створення надійного та швидкого скрипта збору даних, який збирає, аналізує та зберігає дані з Uniswap V3. Основна вимога — збір транзакцій, збереження структурованих даних у кеші Redis та їх потокова передача у систему обміну повідомленнями Google Pub/Sub для маршрутизації кожної вхідної транзакції у нашу модель машинного навчання. Більше того, дані також будуть зберігатися у базі даних.

Обсяг проєкту

• Збір даних на рівні транзакцій за допомогою API Graph з Uniswap V3 Subgraph на Arbitrum

https://thegraph.com/explorer/subgraphs/5zvR82QoaXYFyDEKLZ9t6v9adgnptxYpKpSbxtgVENFV?view=Query&chain=arbitrum-one

• Пагінація. Реалізація рішення з пагінацією, якщо потрібно, для ефективного збору великого масиву даних

• Збереження даних у Redis. Виключення дублікатів (для другої частини проєкту)

• Інтеграція Google Pub/Sub. Відправка (push) кожної вхідної транзакції у два різні pubsub топіки для подальшої обробки. А також отримання вихідних даних і збереження їх назад у Redis та базу даних. (для другої частини проєкту)

• Розгортання застосунку/скрипта за допомогою Docker. Переконатися, що Dockerfile реалізовані без помилок, завантаження, розгортання і контроль працездатності контейнера у реальному часі.

Необхідні навички

• Експерт з Python: впевнене володіння asyncio, швидкий парсинг даних, оптимізовані network calls. Також, якщо є досвід пакетної обробки (batch processing).

• GraphQL: досвід запитів до API Graph або будь-якого Web3 subgraph

• Redis: сховище даних у реальному часі з ключами та наборами, відсортованими за оцінками (потрібно лише на другому етапі проєкту)

• Google Pub/Sub: публікація подій із отриманих даних (потрібно лише на другому етапі проєкту)

• Docker: контейнеризація рішення з чіткою конфігурацією (потрібно лише на другому етапі проєкту)

• Розробка баз даних: оптимізація запитів, планування схем (Redis та нижчі бази даних) (потрібно лише на другому етапі проєкту)

Технологічний стек, який ви будете використовувати

• Python 3.x (aiohttp/requests + graphql libs)

• Graph API / GraphQL (Uniswap V3 Arbitrum)

• База даних Mysql

• Redis (Sorted Sets, Streams, Pipelines)  (тільки другий етап проєкту)

• Google Cloud Pub/Sub (тільки другий етап проєкту)

• Docker (тільки другий етап проєкту)

До прикладу, додатковий файл англійською вище.

Якщо вас цікавий проєкт — надсилайте ціну, коли можете почати роботу, скільки днів займе реалізація першої частини проєкту. Якщо потрібно щось уточнити для підрахунку — надсилайте конкретні питання.