Budżet: 550 USD Termin: 14 dni
Dzień dobry, mam duże doświadczenie w web scrapingu, wykonywałem projekty o różnym stopniu skomplikowania zbierania danych, automatyzacja ETL, potrafię korzystać ze wszystkimi funkcjami (praca z zapytaniami, ciasteczkami, proxy, user-agentami, autoryzacją, omijanie captchy, w tym Cloudflare), z następną obróbką i przekształceniem danych.
Budżet: 250 USD Termin: 5 dni
Witaj, zapoznałem się z Twoim opisem zadania, wszystko jasne, gotowy do rozpoczęcia. W Twoim kodzie zastąpiłbym request na aiohttp, beautifulsoup4 można zastąpić lxml, html5lib lub scrapy. Korzystam z systemu kontroli wersji github dla każdego projektu, mam ponad 4 lata doświadczenia w pracy z pythonem. Ostatnio wykonałem podobny projekt z przerwami i analizą dużych ilości danych. Realizuję analizę w ramach norm prawnych i etycznych.
O sobie: projektuję solidną architekturę dla łatwego wdrożenia za pomocą dockera i mogę spakować tam wszystko, co jest potrzebne, znam bin, bash, zsh na wysokim poziomie, jestem pewnym użytkownikiem linuksa.
Pewnie realizuję zarówno interfejsy internetowe, jak i interfejsy GUI, możesz zobaczyć moje portfolio, https://github.com/sashabodiul i mogę osobiście pokazać wykonane projekty. (PyQt5, kivy, tkinter, Flask, FastAPI, Django)
Jeśli chodzi o stos technologiczny, mam duże doświadczenie.
W analizie używam proxy, user-agent i różnych nagłówków w razie potrzeby, potrafię pracować z inspektorem, javascriptem, dom, potrafię pobierać dane nawet z ajax i graphql.
Główne biblioteki do analizy: aiohttp, lxml, bs4, scrapy
Automatyzacja web: Selenium
Tworzenie API w językach golang i python, GinGo, Flask, FastAPI, RestfulAPI, Swagger
Mam doświadczenie w pracy z arkuszami Google i konsolą Google Cloud
Umiejętność pracy z różnymi bazami danych sql i nosql.
Rozwiązanie kaptchy anticaptcha.
Znajomość wątków Semaphore, threading, concurrent.future. Umiejętność pracy z numpy i more_itools, w szczególności chunked do równomiernego podziału skrapingu na równomierne wątki, co znacznie przyspiesza zbieranie dużych ilości danych
Podstawowa wiedza do tworzenia interfejsów internetowych
Jako dodatkowe umiejętności, potrafię pracować z API, potrafię wydobywać ukryte API i pracować z xml
PyQuery do pracy z dokumentami html
Pyppeteer również do automatyzacji
Budżet: 500 USD Termin: 7 dni
Dzień dobry,
Interesujący projekt.
Być może brakuje bazy danych lub opisu sposobu pracy z danymi (gdzie je przechowywać podczas użytkowania i czy to jest konieczne).
Ogólnie logika jest zrozumiała, istnieje przybliżone rozwiązanie z doświadczenia komercyjnego.
I będzie trzeba wyjaśnić kwestie prawne dotyczące zasobu, 1- być może istnieje możliwość uzyskania tych samych informacji w formacie xls, csv lub po prostu link do pobrania.
2- jak legalne jest sprawdzanie danych ze strony bez pytania))
Moje zalety - mam różnorodne doświadczenie komercyjne w programowaniu przez ponad 6 lat) i szeroki ogląd na projekt ze względu na profilowe wykształcenie wyższe.
Moje narzędzia
Python/Django/FastAPI
PostgreSQL +SqlAlchemy + Alembic
Wszystkiego dobrego,
Z poważaniem,
Tali.
Budżet: 120 USD Termin: 4 dni
Zainteresowała mnie oferta, jestem pewien, że spełniam Państwa wymagania, będę wdzięczny za informację zwrotną, dziękuję
Budżet: 800 USD Termin: 14 dni
Dzień dobry,
jeśli jesteś zainteresowany, mogę zaimplementować to w node.js
Mam spore doświadczenie w parsowaniu różnych poziomów trudności, napisz, omówimy szczegóły.
Budżet: 250 USD Termin: 3 dni
Dzień dobry
Mam duże doświadczenie w parsowaniu danych o różnym stopniu skomplikowania
Napisz do mnie
