CZĘŚĆ 1 — PARSER Copart + BAZA DANYCH (Infrastruktura backend)
1892 PLN
🎯 Cel
Opracować zautomatyzowany system parsowania z autoaukcją Copart, który będzie zapisywał dane w scentralizowanej relacyjnej bazie danych PostgreSQL i zapewni API dla strony katalogowej.
🧱 Architektura
Język i framework: Python 3.10+, Django Rest Framework
Parsowanie: Selenium + Undetected ChromeDriver, Requests, BeautifulSoup
Zadania w tle: Celery + Redis
Przechowywanie danych: PostgreSQL
Dockerizacja: według uznania (Docker + docker-compose)
Logowanie: logi JSON + raporty o błędach
Autoryzacja: w razie potrzeby (w aukcjach)
Proxy: obowiązkowe
Antycaptcha: obsługa 2Captcha lub podobnego
📥 Dane do zebrania
| Pole | Opis |
|---|---|
| Marka i model | Na przykład: "Toyota Camry" |
| Rok produkcji | 2019, 2020 itd. |
| Przebieg | W milach lub kilometrach |
| Cena sprzedaży | W dolarach lub AED |
| VIN | Unikalny identyfikator pojazdu |
| Stan | Uszkodzony / cały / uszkodzenia |
| Lokalizacja | Kraj / miasto / magazyn |
| Paliwo | Benzyna / diesel / elektryczność itd. |
| Transmisja | Automatyczna / manualna |
| Data sprzedaży | Ustalona z źródła |
| Zdjęcia (5+) | Linki do obrazów |
| Link do licytacji | Bezpośredni link do źródła |
📌 Wymagania systemowe
Praca według harmonogramu (cron/Celery Beat)
Wielowątkowość i skalowalność
Możliwość ponownego uruchomienia (np.
manage.py parse --source copart)Punkty końcowe API:
/api/cars/— lista/api/cars/<vin>/— karta pojazduFiltrowanie: marka, model, rok, przebieg, typ paliwa itd.
Dokumentacja API (Swagger/OpenAPI)
🔧 Dodatkowe wymagania
Udokumentowana struktura bazy danych
Możliwość rozszerzenia na nowe aukcje
Możliwość ręcznego uruchamiania zadań
Ochrona przed duplikatami (VIN + data sprzedaży)
Powiadomienia o awariach (opcjonalnie — Telegram, email)
💾 Oczekiwany rezultat
✔ Działający parser
✔ Dane codziennie zapisywane w PostgreSQL
✔ API z filtracją
✔ Dokumentacja i instrukcja uruchomienia
-
30 dni1892 PLN
700 7 0 30 dni1892 PLNWitam!
Zapoznałem się z Twoim dokumentem technicznym dotyczącym tworzenia parsera dla autoaukcji IAAI oraz budowy API na Django REST Framework. Zadanie jest dobrze opracowane i jestem gotów zrealizować je w pełni zgodnie z wymaganiami.
Co zrobię:
Parser z użyciem Selenium, Requests i BeautifulSoup do zbierania wszystkich niezbędnych danych z autoaukcji.
Organizacja zadań w tle za pomocą Celery + Redis z obsługą harmonogramu (Celery Beat).
Przechowywanie danych w PostgreSQL z uwzględnieniem ochrony przed duplikatami (VIN + data sprzedaży).
REST API z filtrowaniem po głównych parametrach, dokumentacją Swagger/OpenAPI.
… Wsparcie proxy i antycaptcha (2Captcha lub podobne).
Możliwość rozszerzenia na inne aukcje i ręcznego uruchamiania zadań.
Logowanie w formacie JSON i powiadomienia o awariach (Telegram/e-mail według preferencji).
Opcjonalna konteneryzacja (Docker + docker-compose).
Technologie: Python 3.10+, Django REST Framework, PostgreSQL, Celery, Redis, Selenium.
Termin i budżet:
Około 3–4 tygodnie na pełny cykl rozwoju z testami. Koszt jest do ustalenia w zależności od szczegółów i zakresu.
Chętnie omówię szczegóły, przedstawię plan pracy i etapy.
-
30 dni1892 PLN
235 30 dni1892 PLNWitam!
Jesteśmy bardzo zainteresowani Twoim projektem. Nasz zespół, składający się z doświadczonych programistów i projektantów UI/UX, ma bogate doświadczenie w tworzeniu dużych i skalowalnych platform. Specjalizujemy się w opracowywaniu niezawodnych, wysokowydajnych i intuicyjnych rozwiązań, spełniających najnowsze standardy.
Używamy zaawansowanych technologii:
Frontend: React i Next.js
Backend: Java, Spring Boot, Microservices
Design: Nasz projektant UI/UX gwarantuje estetykę i wygodę użytkowania.
Inne: PostgreSQL, MongoDB, Redis, AWS/GCP/Azure, Docker, Kubernetes.
Z powodzeniem zrealizowaliśmy szereg skomplikowanych projektów w fintech, e-commerce, SaaS, tworząc systemy o dużym obciążeniu i skalowalności. Chętnie pokażemy odpowiednie przykłady podczas rozmowy.
Jesteśmy pewni, że nasze doświadczenie i kompleksowe podejście pomogą skutecznie zrealizować Twój projekt. Chętnie omówimy szczegóły i koszty!
-
7 dni1892 PLN
1767 40 0 7 dni1892 PLNWitam! Mam już doświadczenie z aukcją copart i jestem gotowy wykonać dla Ciebie projekt!
-
20 dni1892 PLN
9927 117 0 20 dni1892 PLNWitam.
Jestem programistą NodeJS. Chętnie się podejmę. Pisz, omówimy.
-
40 dni1892 PLN
182 40 dni1892 PLNDzień dobry
Stworzę parser Copart i zintegruję go z środowiskiem struktury bazy danych, która będzie podłączona do końcowej wersji strony internetowej, integrującej trzy parsery na trzy różnych stronach, a także samą stronę
Dziękuję
-
15 dni1892 PLN
1015 6 0 15 dni1892 PLNDzień dobry. Mam duże doświadczenie w tworzeniu parserów oraz korzystaniu z django/drf. Zapraszam do kontaktu.
-
13 dni1892 PLN
8773 60 0 1 13 dni1892 PLNCześć! My, firma SolidWay, jesteśmy gotowi pomóc w opracowaniu zautomatyzowanego systemu parsowania z autoaukcjonu Copart oraz stworzeniu bazy danych. Mamy doświadczenie w realizacji podobnych projektów, w tym w użyciu Pythona, Django i pracy z PostgreSQL, co pozwoli skutecznie rozwiązać postawione zadania.
Dobrze znamy się na parsowaniu za pomocą Selenium i innych bibliotek, a także na organizacji zadań w tle z Celery i Redis. Nasz zespół będzie mógł wdrożyć API dla Twojej strony-katalogu i zapewnić niezawodne przechowywanie danych.
Omówimy wszystkie szczegóły projektu, aby określić ramy czasowe i budżet po dokładniejszym wyjaśnieniu zadań. Chętnie nawiążemy współpracę!
-
Здравствуйте, Раман. У меня вопрос по некоторым расходам на тестирование и разработку ПО. Аренда сервера, оплата сервиса по решению капчи и покупка прокси трафика. Как будут оплачиваться эти расходы? Например, корпоративные прокси с ротацией стоят в районе $0.6/GB, а мобильные уже 6$/GB.
-
Aktualne zlecenia dla freelancerów w kategorii Bazy danych i SQL
Należy sprawdzić skrypty i zaktualizować dane w bazie danych postgres.Konieczne jest poprawienie skryptów SQL dla bazy Postgres. Należy sprawdzić skrypty i zaktualizować dane z zewnętrznych tabel Excel oraz między dwoma bazami (różne serwery) Postgres. Uruchamianie skryptów przez program AnyDesk Navicat. Lista danych do sprawdzenia i korekty: 1.… Bazy danych i SQL ∙ 1 dzień 12 godzin temu ∙ 18 ofert |
Potrzebny architekt Airtable do zbudowania schematu relacyjnego i nowej czystej bazy AirtablePotrzebna pomoc w przemyśleniu i zbudowaniu czystiej schemy relacyjnej dla wewnętrznego systemu operacyjnego w Airtable. Obecna baza jest już używana przez zespół, ale rozwinęła się organicznie: struktura jest częściowo płaska, część tabel/widoków jest używana aktywnie, część… Bazy danych i SQL, Aplikacje desktopowe ∙ 2 dni 5 godzin temu ∙ 9 ofert |
Platforma edukacyjna dla trenerów koszykówki + niestandardowy CMSPlatforma edukacyjna dla trenerów koszykówki + Custom CMSPrzegląd projektu Poszukujemy doświadczonego zespołu deweloperskiego lub programisty full-stack do zbudowania nowoczesnej platformy edukacyjnej dla trenerów koszykówki. Strona internetowa zapewni trenerom koszykówki dostęp… Bazy danych i SQL, Programowanie stron internetowych ∙ 2 dni 23 godziny temu ∙ 89 ofert |
Integracja Viber w 8.3
842 PLN
Potrzebna integracja Viber w własnym CRM (1C 8.3)O firmieFirma "Domofon System" zajmuje się instalacją i serwisowaniem systemów domofonowych.Baza ponad 40 000 abonentów.Pracujemy na własnym dopracowanym systemie opartym na 1C 8.3.Szukamy specjalisty lub zespołu do… Bazy danych i SQL, Tworzenie chatbota ∙ 3 dni 2 godziny temu ∙ 16 ofert |
Dopracowanie 1C UT 11 dla TSD Zebra (RDP): różne sygnały dźwiękowe podczas skanowania
84 PLN
Konfiguracja: 1C UT 11 Adresowy magazyn Terminal Zebra TC26 Praca przez RDP Skanowanie towarów odbywa się w dokumentach przyjęcia, umiejscowienia, selekcji oraz innych operacjach magazynowych. Aktualny problem: Magazynierzy pracują przez terminal Zebra. Podczas skanowania nie… C#, Bazy danych i SQL ∙ 5 dni temu ∙ 6 ofert |
Dubaj