Ціль:
Розробити автоматичний парсер, який буде витягувати адреси монет з (https://dexscreener.com/new-pairs?dexIds=raydium&maxAge=24&minLiq=1000&order=desc&profile=1&rankBy=activeBoosts) Dexscreener і зберігати їх у зручному форматі для подальшого використання.
Вимоги до функціоналу:
1. Автоматичний збір даних:
• Парсер повинен автоматично звертатися до вказаної сторінки і витягувати адреси монет зі списку нових пар токенів, що відповідають заданим параметрам (dexIds=raydium, maxAge=24, minLiq=1000, order=desc, profile=1, rankBy=activeBoosts).
2. Періодичність оновлення:
• Парсер повинен оновлювати дані з заданою періодичністю (наприклад, кожні 15 хвилин або годину), щоб забезпечувати актуальність інформації.
3. Зберігання даних:
• Збереження в уже створений нами апі, або на прямий конект до бд. Код конекту і функцій, щоб не виникало дублікатів, вже є
4. Обробка помилок:
• Реалізація механізмів обробки помилок і повторних спроб у разі невдалого запиту до сайту.
• Логування помилок і повідомлення відповідальних осіб про виниклі проблеми.
Вимоги до технології:
• Мова програмування: Python, Node.js або інша, підходяща для веб-скрейпінгу.
• Використання бібліотек для веб-скрейпінгу (наприклад, BeautifulSoup, Scrapy для Python)
Приклад - https://dexscreener-ai-data-scraper-crypto-dex-analytics.en.softonic.com/chrome/extension