Inżynier danych - analiza samochodowa (zbieranie i przechowywanie danych)
Potrzebny Data Engineer z doświadczeniem w web scraping i pracy z dużymi ilościami danych do projektu analizy rynku samochodów używanych.
Tworzymy serwis analizy cen samochodów - potrzebny niezawodny system zbierania danych z platform sprzedaży samochodów używanych do dalszej analizy i wizualizacji.
Co trzeba zrobić?
- Web scraper - zbieranie ogłoszeń z największych platform z obejściem blokad
- Baza danych - architektura do przechowywania milionów rekordów z optymalizacją pod zapytania analityczne
- API/interfejs - dostęp do danych dla Backend developera
- Automatyzacja - codzienne zbieranie, monitorowanie, obsługa błędów
- Dane historyczne - przechowywanie dynamiki cen dla analizy trendów
Charakterystyka projektu
- Duże ilości - oczekujemy 3K+ nowych ogłoszeń dziennie, miliony rekordów w bazie danych
- Optymalizacja kosztów - potrzebne rozwiązania oszczędzające na infrastrukturze (partycjonowanie, archiwizacja, compression)
- Wysoka wydajność - zapytania analityczne muszą być wykonywane szybko na dużych zbiorach danych
- Długoterminowe wsparcie - to nie jednorazowe zbieranie, system musi działać stale
Wymagania biznesowe, schemat współpracy z Backend developerem oraz techniczne szczegóły - https://docs.google.com/document/d/1utRzA8TntpXpO-RSgR2lYKoIFrggE6PPFKi71P9qKxc/edit?usp=sharing
Odpowiadając, podaj:
- Doświadczenie z podobnymi projektami (ilość danych, scraping, optymalizacja bazy danych)
- Proponowany stos technologiczny
- Przybliżony budżet i terminy
- Przykłady wcześniejszych prac (jeśli są)
-
1 dzień2235 PLN
1 dzień2235 PLN
Dzień dobry
Mogę na siebie wziąć rolę Data Engineer i Backend Developer
Mam bardzo duże doświadczenie w parsowaniu takich stron z samochodami jak Copart, IAAI, AUTO.RIA. Również skutecznie realizuję parsowanie stron z częściami samochodowymi, na których jest ponad 100 tys. produktów każda.
Moje parsery łączę z panelami administracyjnymi pod Django, ale mogę pisać backend również na FastAPI, jeśli macie front-end developera.
Aby dokonać wyceny, potrzebna jest bardziej szczegółowa dyskusja nad specyfikacją techniczną.
Średnio takie projekty wycenia się na 1000-3000 USD, w zależności od szczegółów specyfikacji.
-
1 dzień2235 PLN
564 2 0 1 dzień2235 PLN
Dzień dobry!
Jestem gotowy wziąć udział zarówno w jednej, jak i w obu rolach jednocześnie. Mam cztery lata doświadczenia w tworzeniu wysokowydajnego backendu i automatyzacji na Golang, z czego ponad 2,5 roku — właśnie w branży motoryzacyjnej. Pracowałem z dużymi ilościami danych: zbieraliśmy, przetwarzaliśmy i agregowaliśmy je na różnych etapach.
Chętnie omówię szczegóły — możesz napisać do mnie w prywatnej wiadomości. W razie potrzeby możemy zorganizować rozmowę w dogodnym dla Ciebie formacie.
-
7 dni2235 PLN
1621 35 1 6 7 dni2235 PLN
Dzień dobry. Mam gotowe i działające rozwiązanie, które zbiera i analizuje dane z Auto. ria oraz Olx.
W przypadku zainteresowania mogę pokazać demo (nagranie ekranu). Koszt $5000, możliwe wprowadzenie zmian i ulepszeń (za osobną opłatą).
-
7 dni1242 PLN
720 6 1 7 dni1242 PLN
Witam,
Szczegóły opisałem w prywatnej wiadomości.
Czekam na Twoją odpowiedź.
Aktualne zlecenia dla freelancerów w kategorii Parsowanie danych
Konsultacja dotycząca parsowania subskrybentów kont InstagramWitam. Konieczne jest przeprowadzenie wstępnej oceny możliwości realizacji następującego zadania. Posiadam listę kont na Instagramie. Celem jest uzyskanie danych kontaktowych (w pierwszej kolejności adresów e-mail) użytkowników, którzy obserwują te konta. Wcześniej spotkałem… Parsowanie danych ∙ 2 dni 23 godziny temu ∙ 12 ofert |
Potrzebny specjalista do wyszukiwania kontaktów decydentów w UkrainieKonieczne jest zebranie bazy (lub gotowej bazy) kontaktów osób podejmujących decyzje (LPR) w firmach Ukrainy. Wyszukiwanie i zbieranie informacji, Parsowanie danych ∙ 3 dni 3 godziny temu ∙ 17 ofert |
Trzeba zeskrobać dane z LinkedIn
Potrzebujemy wyciągnąć dane z LinkedIn według naszej listy. Dla każdego wpisu należy znaleźć i zebrać dostępne dane, jeśli takie są na profilu LinkedIn, w tym zdjęcie profilowe w serwisie społecznościowym LinkedIn, adres e-mail, linki do mediów społecznościowych, stronę… Parsowanie danych ∙ 3 dni 9 godzin temu ∙ 27 ofert |
Parsowanie i klasyfikacja danych
Szukamy dewelopera do realizacji systemu zbierania i strukturyzacji danych z otwartych źródeł. Posiadamy bazę właścicieli małych firm w USA, która zawiera imię i nazwisko, nazwę firmy, adres oraz stan. Należy zbudować proces wzbogacania tych rekordów dodatkowymi informacjami z… Programowanie stron internetowych, Parsowanie danych ∙ 3 dni 10 godzin temu ∙ 41 ofert |
Svitlahata
62 PLN
Potrzebne jest zaimportowanie 1819 produktów z pliku XML/YML Prom.ua do OpenCart 3. Jest gotowy plik XML, który zawiera nazwy produktów, opisy, ceny, zdjęcia, cechy, producentów i kategorie. Wymagane: zaimportować wszystkie produkty do OpenCart 3; utworzyć i powiązać… Content Management Systems, Parsowanie danych ∙ 4 dni 13 godzin temu ∙ 34 oferty |
Kijów