Szukamy specjalisty ds. outsourcingu do zadań związanych z parsowaniem katalogów, stron producentów oraz źródeł OEM.
Musimy zbierać zróżnicowane informacje ze stron internetowych: katalogi produktów, modele sprzętu, kompatybilność części, numery części OEM, nazwy produktów, linki do źródeł oraz inne pola w zależności od konkretnej strony.
Główne zadania:
- analiza stron i poszukiwanie optymalnego sposobu pozyskiwania danych: API, HTML, JSON, CSV/XLSX, PDF lub inne dostępne źródła;
- pisanie skryptów do zbierania danych;
- czyszczenie, normalizacja i strukturyzacja danych;
- przekazywanie wyników w formacie CSV, Google Sheets lub uzgodnionej struktury do dalszego importu do naszej bazy;
- realizacja ponownego uruchamiania bez duplikowania rekordów;
- logika aktualizacji danych: nowe / zaktualizowane / niezmienione;
- logowanie uruchomień, błędów i liczby zebranych/zaktualizowanych rekordów;
- krótka dokumentacja: jak uruchomić skrypt, jakie zależności są potrzebne, jakie pola są zbierane, jaki klucz unikalny jest używany.
Wymagane umiejętności:
- Python lub inny odpowiedni język do scraping / ekstrakcji danych;
- requests, BeautifulSoup, lxml, pandas;
- Selenium lub Playwright dla stron z JavaScript;
- praca z API, JSON, CSV, XLSX;
- podstawowe zrozumienie SQL lub przygotowania danych do importu do bazy;
- Git / GitHub;
- umiejętność pracy z regularnym aktualizowaniem danych oraz logiką deduplikacji / upsert;
- uwaga na strukturę danych i stabilność skryptów.
Atutem będzie:
- doświadczenie w parsowaniu stron e-commerce, katalogów części zamiennych, katalogów OEM lub dokumentacji technicznej;
- doświadczenie w pracy z Google Sheets API;
- doświadczenie w przetwarzaniu katalogów PDF lub tabel;
- doświadczenie w konfigurowaniu regularnego uruchamiania skryptów;
- umiejętność opisywania ograniczeń źródła oraz ryzyk związanych z utrzymywaniem parsera.
Format współpracy:
Planujemy pracować na zasadzie godzinowej. Dla każdej nowej strony najpierw należy przeprowadzić krótkie badanie techniczne: przeanalizować źródło, zrozumieć sposób pozyskiwania danych, ocenić złożoność, ryzyka oraz orientacyjny czas realizacji.
Po tym uzgadniamy zakres prac i limit godzin na realizację.
W odpowiedzi prosimy o przesłanie:
- przykładów projektów scraping / ekstrakcji danych;
- GitHub lub przykłady kodu, jeśli są;
- swoją optymalną stawkę godzinową;
- jakie narzędzia zazwyczaj używasz.
