Starszy Inżynier Danych z Amazon z doświadczeniem (Projekt)
Szukamy Senior Data Engineer do budowy zautomatyzowanego systemu zbierania danych.
Główne zadania:
Zautomatyzowanie procesu uzyskiwania raportów Amazon i innych zasobów.
Opracowanie i utrzymanie rozwiązań do automatyzacji przeglądarki z wykorzystaniem Selenium, Playwright i Puppeteer.
Zarządzanie serwerami proxy i metodami odcisków przeglądarek w celu zapewnienia efektywnego zbierania danych.
Praca w chmurowych środowiskach do skalowalnego przetwarzania danych.
Wykorzystanie API do równoległego ładowania danych.
Przechowywanie i zarządzanie uzyskanymi danymi w bazach danych SQL.
Wykorzystanie Requests i BeautifulSoup do efektywnego web scrapingu.
Wymagania:
Doświadczenie w automatyzacji uzyskiwania raportów Amazon.
Wysoka kompetencja w Pythonie do pisania skryptów i automatyzacji.
Praktyczne doświadczenie w pracy z automatyzacją przeglądarki (Selenium, Playwright, Puppeteer).
Głębokie zrozumienie zarządzania serwerami proxy i technologii odcisków przeglądarek.
Doświadczenie w konfigurowaniu harmonogramów zadań i pracy w chmurowych środowiskach.
Ekspercka wiedza na temat integracji API do równoległego uzyskiwania danych.
Dobra znajomość SQL do zarządzania bazami danych.
Znajomość Requests i BeautifulSoup do web scrapingu.
-
33 dni274 PLN
1069 10 0 33 dni274 PLN
Posiadam ogromne doświadczenie w skrapowaniu i wiele zakończonych projektów z wykorzystaniem zapytań (requests, aiohttp) oraz automatyzacji za pomocą przeglądarki (playwright, pyppeteer, selenium), omijania różnych rodzajów zabezpieczeń (akamai, cloudflare, perimeter x) oraz captcha (reCAPTCHA, captcha obrazkowa, captcha ikona geetest, captcha suwak geetest v3/v4, hCAPTCHA, captcha tiktok, funcaptcha, worldfirstcaptcha, captcha cloudflare), wykonywania logowania i zbierania danych pod autoryzacją (używając ciasteczek, tokenów i sesji)
-
Дот нет не підійде?
-
Aktualne zlecenia dla freelancerów w kategorii Parsowanie danych
Newsletter LinkedIn
438 PLN
Newsletter LinkedIn Należy uruchomić newsletter LinkedIn na podstawie podanej bazy. 30 000+ kontaktów Czekamy na propozycje E-mail marketing, Parsowanie danych ∙ 1 godzina 30 minut temu ∙ 3 oferty |
Tworzenie automatycznych wideo shorts
164 PLN
Co dokładnie muszę zrobić Muszę stworzyć agenta AI lub lekki content factory 1. To jest tworzenie pomysłu Referencja https://youtube.com/shorts/omgVX00yaD8?is=1Gz_TUUlftZnkxQv 2. To jest tworzenie tekstu 3. To jest tworzenie tła + tekst 3. Ożywienie tła, tekst pozostaje… AI i uczenie maszynowe, Parsowanie danych ∙ 16 godzin 36 minut temu ∙ 12 ofert |
Parsowanie emaili firm z określonej branży
411 PLN
Znajdź kontakty (e-mail, numer telefonu) firm, które zajmują się określonym biznesem, wskazanym w tym dokumencie Google https://docs.google.com/document/d/1_d-iLxLSL3gjRvo1GmUpWNm0Pm5YoKGcEvaiDc_2I0g/edit?usp=#sharing Wynik ma być w formie tabeli z kolumnami: 1. Telefon w… Parsowanie danych ∙ 1 dzień 1 godzina temu ∙ 28 ofert |
Potrzebny parser sklepu internetowego https://www.lcsc.com/należy regularnie (1 raz w miesiącu, lub przy uruchomieniu skryptu) uzyskiwać aktualne informacje o produktach dostępnych w sklepie https://www.lcsc.com/ z katalogu wszystkich działów… Parsowanie danych ∙ 2 dni 6 godzin temu ∙ 43 oferty |
OpenCart — katalog wynajmu sprzętu specjalistycznego
493 PLN
OpenCart — katalog wynajmu sprzętu specjalistycznegoPotrzebne jest uruchomienie katalogu wynajmu sprzętu specjalistycznego na OpenCart.Tematyka:koparkipodnośnikiładowarkigeneratorydźwigirusztowaniainny sprzęt budowlany.Preferowane, abyście mieli już gotowy szablon lub… Programowanie stron internetowych, Parsowanie danych ∙ 2 dni 23 godziny temu ∙ 58 ofert |
Kijów