Budżet: 3500 UAH Termin: 6 dni
Dzień dobry, wielokrotnie pracowałem z platformą DEX i mogę zrealizować Twój projekt w ciągu 6 dni.
Tworzę solidną architekturę dla łatwego wdrożenia za pomocą Dockera i mogę spakować tam wszystko, co jest potrzebne. Mam wysoki poziom znajomości bin, bash, zsh, jestem pewnym użytkownikiem Linuksa.
Jeśli chodzi o stos technologiczny, mam duże doświadczenie.
W parsowaniu używam proxy, user-agent oraz różnych nagłówków w razie potrzeby, potrafię pracować z inspektorem, JavaScript, DOM, potrafię pobierać dane nawet z AJAX i GraphQL.
Główne biblioteki do parsowania: aiohttp, lxml, bs4, scrapy.
Automatyzacja webowa: Selenium.
Tworzenie API w językach Golang i Python, GinGo, Flask, FastAPI, RestfulAPI, Swagger.
Mam doświadczenie w pracy z arkuszami Google oraz konsolą Google Cloud.
Potrafię pracować z różnymi bazami danych SQL i NoSQL.
Rozwiązanie dla CAPTCHA: anticaptcha.
Znajomość wątków Semaphore, threading, concurrent.future. Potrafię pracować z numpy i more_itertools, w szczególności z chunked do równomiernego podziału równoległego scrapingu na jednolite wątki, co znacznie przyspiesza zbieranie dużych ilości danych.
Podstawowa wiedza do tworzenia interfejsów webowych.
Dodatkowo, umiejętność wydobywania ukrytych API i praca z XML.
PyQuery do pracy z dokumentami HTML.
Pyppeteer również do automatyzacji.