Parsowanie danych z Coinmarketcap | Python | Starszy Specjalista

Cześć, Vitalina.
Z przyjemnością podejmę się Twojego projektu. Mam duże doświadczenie w tworzeniu parserów w pythonie+selenium. Programuję w pythonie od ponad 4 lat, a zajmuję się parsowaniem danych od około 3 lat.

1) Na stałym serwisie mam 2 moje wieloprocesorowe parsery.
Pierwszy parser istnieje już 3 lata, zbiera dane z 18 portali B2B.
Wieloprocesowość jest realizowana przez menedżera procesów, co zapewnia wysoką stabilność i szybkość działania parsera.
Proponuję użyć właśnie wieloprocesorowego parsera, a nie wielowątkowego.

2) Selenium imituje rzeczywistego użytkownika, zaznaczenie opcji dla niego nie stanowi problemu. Bardziej skomplikowane zabezpieczenia, takie jak reCAPTCHA od Google, są omijane przez zewnętrzne usługi, takie zadania również musiałem rozwiązywać.
…
3) Z API Google Sheets nie pracowałem, to zwykłe REST API, nie widzę trudności w jego użyciu. Mam doświadczenie w pracy z pandas do czyszczenia i sortowania danych oraz tworzenia raportów w formacie xlsx, z wykorzystaniem wszystkich zalet arkuszy kalkulacyjnych - kolorowe wyróżnienia, format danych itd.

4) Mogę podłączyć pulę proxy do parsera.

5) Parser może działać na zdalnym serwerze, a sam proces parsowania nie jest szybki. Wygodnym rozwiązaniem, szczególnie dla zespołu lub grupy, będzie użycie powiadomień w kanale telegramowym o pracy parsera.

Pokaż oryginał

Przetłumacz

Cześć, Witalino!

Jestem doświadczonym programistą Fullstack z dużym doświadczeniem w parsowaniu danych w Pythonie. Rozwiążę twoje zadanie, optymalizując stary kod i wprowadzając wielowątkowość w celu zwiększenia prędkości zbierania danych. Obejść zabezpieczenia na Coinsniper.net za pomocą rozwiązań do omijania Cloudflare. Mam również doświadczenie w pracy z API Google Sheets dla wygodnego eksportu. Gwarantuję jakość i szybkość wykonania!

Czekam na twoją odpowiedź!

Pokaż oryginał

Przetłumacz

Cześć, jestem gotów zrealizować ten projekt!
Będę zadowolony ze współpracy!

Pokaż oryginał

Przetłumacz

Dzień dobry, mam już doświadczenie w pracy z CoinMarketCap i Coingecko.
Proszę pisać na priv, omówimy, co będzie trzeba wyeksportować do tabeli.
Mam doświadczenie w pracy z tabelami Google.

Pokaż oryginał

Przetłumacz

Dzień dobry!

Zainteresował mnie Państwa projekt dotyczący parsowania danych z różnych źródeł. Pozwólcie, że krótko przedstawię moją ofertę:

Doświadczenie i kompetencje:

Parsowanie wielowątkowe: Posiadam znaczące doświadczenie w tworzeniu wielowątkowych i asynchronicznych parserów w Pythonie z wykorzystaniem asyncio, aiohttp i threading, co zapewnia wysoką prędkość i efektywność zbierania danych.

Obchodzenie zabezpieczeń: Skutecznie pracowałem nad obchodzeniem różnych mechanizmów zabezpieczających, w tym Cloudflare "Verify yourself as a human". Używam takich narzędzi jak Selenium, Playwright i specjalistyczne biblioteki (cloudscraper) w celu zapewnienia stabilnego dostępu do chronionych zasobów.
…
Integracja z Google Sheets API: Wiele razy realizowałem integrację z Google Sheets za pomocą gspread i oficjalnego API, zapewniając zautomatyzowane wyprowadzanie i aktualizację danych w arkuszach.

Podejście do projektu:

Analiza istniejącego kodu: Zapoznam się z aktualną bazą kodu, aby zrozumieć strukturę i szczegóły.
Rozwój i optymalizacja: Stworzę/dopracuję parsery dla 20 zasobów, zapewniając ich stabilność i efektywność.
Integracja i automatyzacja: Skonfiguruję automatyczne wyprowadzanie danych do Google Sheets i bazy danych według ustalonego harmonogramu.
Wsparcie i monitorowanie: Zapewnię monitorowanie procesów parsowania oraz szybkie reagowanie na ewentualne awarie lub zmiany na stronach.
Będę zadowolony, mogąc omówić szczegóły Państwa projektu i zaproponować optymalne rozwiązanie. Proszę o kontakt w celu dalszej dyskusji!

Pokaż oryginał

Przetłumacz

Cześć!
Jestem gotów zająć się projektem. Mam doświadczenie w parsowaniu danych z różnych źródeł w Pythonie, w tym w pracy z wielowątkowością. Mogę skonfigurować parsowanie danych z podanej przez Ciebie listy stron, obejść zabezpieczenia (na przykład Cloudflare), a także zintegrować eksport do Google Sheets i bazy danych.
Tak, pracowałem z wielowątkowością w celu przyspieszenia parsowania.
Obchodzenie zabezpieczeń Cloudflare — mam doświadczenie w rozwiązywaniu takich zadań z użyciem antycaptcha lub serwerów proxy.
Pracowałem z Google Sheets API, zintegrowałem eksport danych do arkuszy.
Jestem gotów zacząć od razu.

Pokaż oryginał

Przetłumacz

Dzień dobry. Jestem gotów do wykonania.
Mam duże doświadczenie w tworzeniu parserów.
Piszę w Pythonie, zajmuję 3. miejsce na platformie.

Zrealizuję parser do pracy z danymi w wielowątkowości. Będę w stanie obejść zabezpieczenia na wymaganej stronie. Podłączę niezbędne integracje. Stworzę wygodny interfejs i zoptymalizuję.

Moje portfolio: Freelancehunt
Pisz, omówimy szczegóły i przystąpię do pracy.

Pokaż oryginał

Przetłumacz

Dobry wieczór, mam duże doświadczenie w parsowaniu, sniffingu i inżynierii odwrotnej, piszcie — zrobimy wiatr :)

Pokaż oryginał

Przetłumacz

Dobry wieczór

Pisz, jestem gotów omówić szczegóły

Odpowiadam:
1. tak, pracowałem z wieloma wątkami, zarówno w parsowaniu, jak i w innych
2. tak, mogę to obejść
3. Tak, pracowałem z API Google Sheets

… Pisz
Gotowy do pracy

Pokaż oryginał

Przetłumacz

Posiadam ogromne doświadczenie w skrapowaniu i wiele zakończonych projektów z wykorzystaniem zapytań (requests, aiohttp) oraz automatyzacji za pomocą przeglądarki (playwright, pyppeteer, selenium), omijania różnych rodzajów zabezpieczeń (akamai, cloudflare) i captcha (reCAPTCHA, captcha obrazkowa, ikona captcha geetest, geetest v3/v4 slide captcha, hCAPTCHA, captcha tiktok, funcaptcha, worldfirstcaptcha, captcha cloudflare), wykonywania logowania i zbierania danych pod autoryzacją (używając ciasteczek, tokenów i sesji)

Pokaż oryginał

Przetłumacz

Dzień dobry. Mam duże doświadczenie w różnorodnym parsowaniu, interakcji z różnymi API, google sheet, w tym również.
Ciekawi mnie, aby dowiedzieć się więcej szczegółów na temat TŻ.
Będę zadowolony ze współpracy.

Pokaż oryginał

Przetłumacz

Dzień dobry!

Jestem gotów podjąć się realizacji twojego zamówienia. Mam doświadczenie w pracy z wielowątkowym parsowaniem danych, omijaniem zabezpieczeń (w tym Cloudflare) oraz integracją z Google Sheets API. Mogę zapewnić stabilny eksport danych z wskazanych zasobów do Google Sheets i bazy danych.

Jestem gotów omówić szczegóły i przystąpić do pracy.

Pokaż oryginał

Przetłumacz

Dobry wieczór.
1. Pracowałem z parsowaniem w wielowątkowości.
2. Obejście zabezpieczeń stosowałem, ale nie wszędzie. Na stronie Coinsniper.net trzeba to zbadać i przetestować.
3. Z API Google Sheets jestem zaznajomiony, ale nie pracowałem.

Pokaż oryginał

Przetłumacz