Dmitro A.
Zaproponuj Dmitro pracę nad swoim kolejnym zleceniem.
Prywatna wiadomość
Zaproponuj zlecenie
Izmail,
Ukraina
9 miesięcy 19 dni temu
gotowy do podjęcia pracy
Zakończono 5 Sejfów
1 rok temu
4 zleceniodawców
w Serwisie 2 lata
Ranking
Średnia ocena
Poziom znajomości języków obcych
Українська: native
Русский: zaawansowany
English: średniozaawansowany
Umiejętności i kwalifikacje
Portfolio
-
82 PLN Parser Etsy z asynchronicznym zbieraniem danych i wizualizacją w Excelu
Parsowanie danych
Wykorzystane biblioteki:
● playwright: do inicjalizacji przeglądarki, uzyskiwania cookie, ładowania stron Etsy i omijania mechanizmów ochrony.
● BeautifulSoup (bs4): do analizy stron HTML, znajdowania potrzebnych elementów (na przykład linków do produktów) i ich filtrowania według wymaganych parametrów.
● openpyxl: do tworzenia tabel, formatowania komórek, wstawiania danych tekstowych i obrazów do pliku .xlsx.
… ● Pillow (PIL): do przetwarzania obrazów, w tym zmiany ich rozmiarów przed wstawieniem do Excela.
● httpx: do asynchronicznego ładowania obrazów produktów z linków wysokiej jakości.
Główne zadania:
● Automatyzacja zbierania danych – Wyszukiwanie produktów według słów kluczowych, filtrowanie według nazwy sklepu, omijanie captcha.
● Przetwarzanie informacji – Parsowanie HTML w celu uzyskania nazw, ID produktów, obrazów, zmiana rozmiarów obrazów.
● Zapis wyników – Tworzenie tabeli Excel, wstawianie tekstu i obrazów, formatowanie tabeli.
● Asynchroniczność – Jednoczesne przetwarzanie zapytań i ładowanie obrazów.
● Elastyczność ustawień – Ustawienia parametrów wejściowych, głębokości skanowania i przerw.
Proces realizacji:
1. Zbieranie danych:
Dane są zbierane za pomocą klasy EtsyClient, która enkapsuluje funkcje do interakcji z platformą Etsy, zbierania słów kluczowych, ładowania stron i przetwarzania wyników. Wykorzystywane są biblioteki BeautifulSoup do parsowania i httpx do ładowania obrazów produktów. Dane są organizowane w strukturę gotową do zapisania w pliku.
2. Przetwarzanie i zapisywanie danych:
Do zapisywania zebranych danych wykorzystywana jest biblioteka openpyxl. Tworzona jest tabela Excel, do której zapisywane są zarówno dane tekstowe o produktach, jak i obrazy produktów. Dla każdego produktu automatycznie zmieniany jest rozmiar obrazu przed wstawieniem, aby zapewnić ich poprawne wyświetlanie w tabeli.
3. Asynchroniczność i efektywność:
Proces zbierania i przetwarzania danych realizowany jest asynchronicznie, co pozwala jednocześnie przetwarzać kilka zapytań i ładować obrazy. Dzięki asynchronicznemu podejściu proces zbierania danych znacznie przyspiesza, zmniejszając czas wykonania programu.
4. Elastyczność ustawień:
Program łatwo dostosowuje się do pracy z różnymi sklepami na Etsy dzięki wykorzystaniu zmiennych klasy, co pozwala na zmianę parametrów bez konieczności modyfikacji kodu.
Tagi:
#python #parsery #Parsowanie #playwright #webscraping #Parsery #spardzić #beautifulsoup #beautifulsoup4 #bs4 #pillow #openpyxl
-
Prognozowanie cen kryptowalut za pomocą sieci neuronowych
Python
Wykorzystane biblioteki:
● aiohttp: do zbierania danych historycznych z Binance API
● PyTorch i PyTorch Lightning: do budowy i trenowania modelu
● pandas, numpy: do pracy z szeregami czasowymi, przygotowania i analizy danych
… ● seaborn, matplotlib: do wizualizacji danych
● DeepSpeed: do optymalizacji uczenia na dużych zbiorach danych
Główne zadania:
● Zbieranie i normalizacja danych, przygotowanie szeregów czasowych dla kryptowalut
● Budowa i trenowanie zoptymalizowanego modelu DeepAR
● Prognozowanie danych za pomocą stworzonego modelu
● Wizualizacja wyników w celu oceny jakości modelu
Proces realizacji:
1. Przygotowanie danych:
Funkcja get_klines_for_train pobiera dane historyczne o zmianach cen w określonym interwale czasowym oraz oblicza wskaźniki techniczne, takie jak RSI, EMA i inne. Następnie dane są zapisywane do pliku CSV do dalszego wykorzystania. Do trenowania modelu wybrano parę walutową JUP/USDT z interwałem 1 godzina, a do testowania pary BTC/USDT, SOL/USDT i XRP/USDT. Chociaż liczba danych była ograniczona, wystarczyło to do efektywnego uczenia.
W głównym module dane są ładowane z pliku CSV, a zbiór danych jest normalizowany za pomocą specjalnie zaimplementowanej metody MinMax.
2. Tworzenie i trenowanie modelu DeepAR:
Model oparty jest na dostosowanej wersji DeepAREnhanced, która jest zoptymalizowaną wersją klasycznej DeepAR. Aby zwiększyć dokładność na dużych szeregach czasowych, wprowadzono specjalną wersję ScaledNormalLoss, która poprawia funkcję strat. Trenowanie odbywało się z użyciem DeepSpeed w celu przyspieszenia procesu oraz EarlyStopping, aby uniknąć przeuczenia.
3. Prognozowanie i wizualizacja:
Po treningu model był używany do prognozowania cen na zestawie testowym. Wyniki prognozowania były porównywane z rzeczywistymi wartościami za pomocą funkcji plot_comparison(), która wizualnie demonstruje dokładność modelu i jego skuteczność w przewidywaniu przyszłych trendów.
Etykiety:
#python #pytorch #binance #binance.com #datascience #cryptocurrency #криптовалюты #ai
Recenzje dotyczące zrealizowanych zleceń 5
20 grudnia 2024
82 PLN
Parsowanie danych
Jakość
Profesjonalizm
Koszt
Zawsze w kontakcie
Terminy
Dmitrijowi udało się zrealizować projekt, którego nie udało się zrealizować trzem poprzednim wykonawcom. Polecam go jako osobę, która doskonale zna się zarówno na Pythonie, jak i na pisaniu parserów. Na pewno jeszcze się zgłoszę.
|
21 listopada 2024
98 PLN
Napisać bota TG dla treadingview, otrzymującego polecenie od wskaźnika, dopracowanie wskaźnika
Jakość
Profesjonalizm
Koszt
Zawsze w kontakcie
Terminy
Świetny specjalista, polecam, wszystko robi na czas, poprawnie, jestem bardzo zadowolony, zwracam się po raz drugi i na pewno jeszcze się zwrócę!! POLECAM WSZYSTKIM!
Miha Mihail
| Indywidualny | Wzajemna opinia
3 listopada 2024
98 PLN
Skonfigurować automatyczne aktualizacje stanów i cen w Goodshopie
Jakość
Profesjonalizm
Koszt
Zawsze w kontakcie
Terminy
wszystko zrobione, świetna praca
1 listopada 2024
82 PLN
Połączyć 3 wskaźniki treadingview z otwartym kodem w jeden
Jakość
Profesjonalizm
Koszt
Zawsze w kontakcie
Terminy
Świetny specjalista, polecam, udoskonalił wskaźnik treadingview
10 czerwca 2024
57 PLN
Parser
Jakość
Profesjonalizm
Koszt
Zawsze w kontakcie
Terminy
Dziękuję za wykonaną pracę
Andrey Ivanov
| Indywidualny 
Aktywność
| Ostatnie oferty 10 | Budżet | Dodana | Terminy | Oferta | |
|---|---|---|---|---|---|
|
Poprawki bota telegramowego
98 PLN
|
|||||
|
Parsowanie strony
98 PLN
|
|||||
|
Opracowanie oprogramowania do rejestracji kont hotmail/outlook w Pythonie na zapytaniach post/get
1270 PLN
|
|||||
|
Parsowanie danych
82 PLN
|
|||||
|
Parser OLX 24/7
164 PLN
|
|||||
|
Futures parser
820 PLN
|
|||||
|
Rozpoznawanie obiektu i tekstu na zdjęciu
164 PLN
|
|||||
|
Skrypt Pythona do parsowania danych i wysyłania wyników do telegramu
148 PLN
|
|||||
|
Parser z solscan lub gmgn
262 PLN
|
|||||
|
Parsowanie kart produktów z witryny do Excela
82 PLN
|