Analiza danych
400 PLN
-
14 dni2001 PLN
1069 10 0 14 dni2001 PLNDzień dobry, mam duże doświadczenie w web scrapingu, wykonywałem projekty o różnym stopniu skomplikowania zbierania danych, automatyzacja ETL, potrafię korzystać ze wszystkimi funkcjami (praca z zapytaniami, ciasteczkami, proxy, user-agentami, autoryzacją, omijanie captchy, w tym Cloudflare), z następną obróbką i przekształceniem danych.
-
5 dni909 PLN
960 8 2 5 dni909 PLNWitaj, zapoznałem się z Twoim opisem zadania, wszystko jasne, gotowy do rozpoczęcia. W Twoim kodzie zastąpiłbym request na aiohttp, beautifulsoup4 można zastąpić lxml, html5lib lub scrapy. Korzystam z systemu kontroli wersji github dla każdego projektu, mam ponad 4 lata doświadczenia w pracy z pythonem. Ostatnio wykonałem podobny projekt z przerwami i analizą dużych ilości danych. Realizuję analizę w ramach norm prawnych i etycznych.
O sobie: projektuję solidną architekturę dla łatwego wdrożenia za pomocą dockera i mogę spakować tam wszystko, co jest potrzebne, znam bin, bash, zsh na wysokim poziomie, jestem pewnym użytkownikiem linuksa.
Pewnie realizuję zarówno interfejsy internetowe, jak i interfejsy GUI, możesz zobaczyć moje portfolio, https://github.com/sashabodiul i mogę osobiście pokazać wykonane projekty. (PyQt5, kivy, tkinter, Flask, FastAPI, Django)
Jeśli chodzi o stos technologiczny, mam duże doświadczenie.
W analizie używam proxy, user-agent i różnych nagłówków w razie potrzeby, potrafię pracować z inspektorem, javascriptem, dom, potrafię pobierać dane nawet z ajax i graphql.
Główne biblioteki do analizy: aiohttp, lxml, bs4, scrapy
Automatyzacja web: Selenium
Tworzenie API w językach golang i python, GinGo, Flask, FastAPI, RestfulAPI, Swagger
Mam doświadczenie w pracy z arkuszami Google i konsolą Google Cloud
… Umiejętność pracy z różnymi bazami danych sql i nosql.
Rozwiązanie kaptchy anticaptcha.
Znajomość wątków Semaphore, threading, concurrent.future. Umiejętność pracy z numpy i more_itools, w szczególności chunked do równomiernego podziału skrapingu na równomierne wątki, co znacznie przyspiesza zbieranie dużych ilości danych
Podstawowa wiedza do tworzenia interfejsów internetowych
Jako dodatkowe umiejętności, potrafię pracować z API, potrafię wydobywać ukryte API i pracować z xml
PyQuery do pracy z dokumentami html
Pyppeteer również do automatyzacji
-
7 dni1819 PLN
257 7 dni1819 PLNDzień dobry,
Interesujący projekt.
Być może brakuje bazy danych lub opisu sposobu pracy z danymi (gdzie je przechowywać podczas użytkowania i czy to jest konieczne).
Ogólnie logika jest zrozumiała, istnieje przybliżone rozwiązanie z doświadczenia komercyjnego.
I będzie trzeba wyjaśnić kwestie prawne dotyczące zasobu, 1- być może istnieje możliwość uzyskania tych samych informacji w formacie xls, csv lub po prostu link do pobrania.
2- jak legalne jest sprawdzanie danych ze strony bez pytania))
… Moje zalety - mam różnorodne doświadczenie komercyjne w programowaniu przez ponad 6 lat) i szeroki ogląd na projekt ze względu na profilowe wykształcenie wyższe.
Moje narzędzia
Python/Django/FastAPI
PostgreSQL +SqlAlchemy + Alembic
Wszystkiego dobrego,
Z poważaniem,
Tali.
-
4 dni437 PLN
209 1 0 4 dni437 PLNZainteresowała mnie oferta, jestem pewien, że spełniam Państwa wymagania, będę wdzięczny za informację zwrotną, dziękuję
-
14 dni2910 PLN
187 1 0 14 dni2910 PLNDzień dobry,
jeśli jesteś zainteresowany, mogę zaimplementować to w node.js
Mam spore doświadczenie w parsowaniu różnych poziomów trudności, napisz, omówimy szczegóły.
-
3 dni909 PLN
1993 12 0 3 dni909 PLNDzień dobry
Mam duże doświadczenie w parsowaniu danych o różnym stopniu skomplikowania
Napisz do mnie
Aktualne zlecenia dla freelancerów w kategorii Parsowanie danych
Stworzyć dashboard w https://airtable.com/ dotyczący efektywności reklamowych kreacji z facebook adsPełnoprawne TZ https://docs.google.com/document/d/1_n_oYRNZWYxalUA---DM5AD1b5ZSrtePw5J4G42svGw/edit?usp=sharing Bazy danych i SQL, Parsowanie danych ∙ 1 dzień 1 godzina temu ∙ 16 ofert |
Stworzenie pliku Exel do załadowania towarów na strony innych partnerów.Interesuje mnie, aby stworzyć tabelę Excel ze wszystkimi parametrami. Oto strona - https://heiztechnik.com.ua/ A pozycje, które mnie interesują, powinny być przeniesione: Kotły ręczne: 1) TIS UNI 15-95 kW (10) szt 2)TIS HARD 150-500 kW (7) szt Kotły na pelety: 1)TIS PELLET… Parsowanie danych ∙ 1 dzień 5 godzin temu ∙ 34 oferty |
Wymagany programista do parsowania katalogu i automatyzacji importu danychSzczegółowe TZ w załączonym dokumencie proszę w odpowiedzi podać orientacyjną cenę i terminy realizacji czy masz doświadczenie w parsowaniu dużych katalogów jakie możliwe trudności lub ograniczenia widzisz w tym zadaniu Bazy danych i SQL, Parsowanie danych ∙ 1 dzień 8 godzin temu ∙ 39 ofert |
Znaleźć feed produktowy (Google Merchant XML) dla strony na OpenCart
57 PLN
Konieczne jest znalezienie bezpośredniego linku do działającego pliku z danymi produktowymi (XML) konkurenta dla Google Merchant Center Platforma (CMS): OpenCart / ocStore Znajdź oryginalny plik z danymiWymagania dotyczące wyniku: Roboczy link do pliku XML Python, Parsowanie danych ∙ 1 dzień 13 godzin temu ∙ 21 ofert |
Parsowanie produktów z supermarketówPotrzebny specjalista (parsowanie + Google Sheets + automatyzacja). Cel: Stworzyć system automatycznego pozyskiwania i aktualizacji cen produktów spożywczych z supermarketów Silpo i NOVUS z wyjściem danych do Google Sheets. Co należy zrealizować: Stworzyć główną tabelę Google… Parsowanie danych, Wyszukiwanie i zbieranie informacji ∙ 1 dzień 21 godzin temu ∙ 46 ofert |
Ałmaty (Alma-Ata)