Cel:
Opracowanie automatycznego parsera, który będzie wyciągał adresy monet z (https://dexscreener.com/new-pairs?dexIds=raydium&maxAge=24&minLiq=1000&order=desc&profile=1&rankBy=activeBoosts) Dexscreener i zapisywał je w wygodnym formacie do dalszego wykorzystania.
Wymagania dotyczące funkcjonalności:
1. Automatyczne zbieranie danych:
• Parser powinien automatycznie zwracać się do wskazanej strony i wyciągać adresy monet z listy nowych par tokenów, odpowiadających zadanym parametrom (dexIds=raydium, maxAge=24, minLiq=1000, order=desc, profile=1, rankBy=activeBoosts).
2. Częstotliwość aktualizacji:
• Parser powinien aktualizować dane z zadaną częstotliwością (na przykład co 15 minut lub godzinę), aby zapewnić aktualność informacji.
3. Przechowywanie danych:
• Zapis do już stworzonego przez nas API, lub bezpośrednie połączenie z bazą danych. Kod połączenia i funkcji, aby nie występowały duplikaty, już istnieje.
4. Obsługa błędów:
• Realizacja mechanizmów obsługi błędów i ponownych prób w przypadku nieudanej próby dostępu do strony.
• Logowanie błędów i powiadamianie odpowiedzialnych osób o występujących problemach.
Wymagania dotyczące technologii:
• Język programowania: Python, Node.js lub inny, odpowiedni do web scrapingu.
• Wykorzystanie bibliotek do web scrapingu (na przykład BeautifulSoup, Scrapy dla Pythona)
Przykład - https://dexscreener-ai-data-scraper-crypto-dex-analytics.en.softonic.com/chrome/extension