CZĘŚĆ 1 — PARSER Copart + BAZA DANYCH (Infrastruktura backend)
🎯 Cel
Opracować zautomatyzowany system parsowania z autoaukcją Copart, który będzie zapisywał dane w scentralizowanej relacyjnej bazie danych PostgreSQL i zapewni API dla strony katalogowej.
🧱 Architektura
Język i framework: Python 3.10+, Django Rest Framework
Parsowanie: Selenium + Undetected ChromeDriver, Requests, BeautifulSoup
Zadania w tle: Celery + Redis
Przechowywanie danych: PostgreSQL
Dockerizacja: według uznania (Docker + docker-compose)
Logowanie: logi JSON + raporty o błędach
Autoryzacja: w razie potrzeby (w aukcjach)
Proxy: obowiązkowe
Antycaptcha: obsługa 2Captcha lub podobnego
📥 Dane do zebrania
| Pole | Opis |
|---|---|
| Marka i model | Na przykład: "Toyota Camry" |
| Rok produkcji | 2019, 2020 itd. |
| Przebieg | W milach lub kilometrach |
| Cena sprzedaży | W dolarach lub AED |
| VIN | Unikalny identyfikator pojazdu |
| Stan | Uszkodzony / cały / uszkodzenia |
| Lokalizacja | Kraj / miasto / magazyn |
| Paliwo | Benzyna / diesel / elektryczność itd. |
| Transmisja | Automatyczna / manualna |
| Data sprzedaży | Ustalona z źródła |
| Zdjęcia (5+) | Linki do obrazów |
| Link do licytacji | Bezpośredni link do źródła |
📌 Wymagania systemowe
Praca według harmonogramu (cron/Celery Beat)
Wielowątkowość i skalowalność
Możliwość ponownego uruchomienia (np.
manage.py parse --source copart)Punkty końcowe API:
/api/cars/— lista/api/cars/<vin>/— karta pojazduFiltrowanie: marka, model, rok, przebieg, typ paliwa itd.
Dokumentacja API (Swagger/OpenAPI)
🔧 Dodatkowe wymagania
Udokumentowana struktura bazy danych
Możliwość rozszerzenia na nowe aukcje
Możliwość ręcznego uruchamiania zadań
Ochrona przed duplikatami (VIN + data sprzedaży)
Powiadomienia o awariach (opcjonalnie — Telegram, email)
💾 Oczekiwany rezultat
✔ Działający parser
✔ Dane codziennie zapisywane w PostgreSQL
✔ API z filtracją
✔ Dokumentacja i instrukcja uruchomienia
-
30 dni1824 PLN
733 7 0 30 dni1824 PLNWitam!
Zapoznałem się z Twoim dokumentem technicznym dotyczącym tworzenia parsera dla autoaukcji IAAI oraz budowy API na Django REST Framework. Zadanie jest dobrze opracowane i jestem gotów zrealizować je w pełni zgodnie z wymaganiami.
Co zrobię:
Parser z użyciem Selenium, Requests i BeautifulSoup do zbierania wszystkich niezbędnych danych z autoaukcji.
Organizacja zadań w tle za pomocą Celery + Redis z obsługą harmonogramu (Celery Beat).
Przechowywanie danych w PostgreSQL z uwzględnieniem ochrony przed duplikatami (VIN + data sprzedaży).
REST API z filtrowaniem po głównych parametrach, dokumentacją Swagger/OpenAPI.
… Wsparcie proxy i antycaptcha (2Captcha lub podobne).
Możliwość rozszerzenia na inne aukcje i ręcznego uruchamiania zadań.
Logowanie w formacie JSON i powiadomienia o awariach (Telegram/e-mail według preferencji).
Opcjonalna konteneryzacja (Docker + docker-compose).
Technologie: Python 3.10+, Django REST Framework, PostgreSQL, Celery, Redis, Selenium.
Termin i budżet:
Około 3–4 tygodnie na pełny cykl rozwoju z testami. Koszt jest do ustalenia w zależności od szczegółów i zakresu.
Chętnie omówię szczegóły, przedstawię plan pracy i etapy.
-
30 dni1824 PLN
211 30 dni1824 PLNWitam!
Jesteśmy bardzo zainteresowani Twoim projektem. Nasz zespół, składający się z doświadczonych programistów i projektantów UI/UX, ma bogate doświadczenie w tworzeniu dużych i skalowalnych platform. Specjalizujemy się w opracowywaniu niezawodnych, wysokowydajnych i intuicyjnych rozwiązań, spełniających najnowsze standardy.
Używamy zaawansowanych technologii:
Frontend: React i Next.js
Backend: Java, Spring Boot, Microservices
Design: Nasz projektant UI/UX gwarantuje estetykę i wygodę użytkowania.
Inne: PostgreSQL, MongoDB, Redis, AWS/GCP/Azure, Docker, Kubernetes.
Z powodzeniem zrealizowaliśmy szereg skomplikowanych projektów w fintech, e-commerce, SaaS, tworząc systemy o dużym obciążeniu i skalowalności. Chętnie pokażemy odpowiednie przykłady podczas rozmowy.
Jesteśmy pewni, że nasze doświadczenie i kompleksowe podejście pomogą skutecznie zrealizować Twój projekt. Chętnie omówimy szczegóły i koszty!
-
7 dni1824 PLN
1792 40 0 7 dni1824 PLNWitam! Mam już doświadczenie z aukcją copart i jestem gotowy wykonać dla Ciebie projekt!
-
20 dni1824 PLN
10130 117 0 20 dni1824 PLNWitam.
Jestem programistą NodeJS. Chętnie się podejmę. Pisz, omówimy.
-
40 dni1824 PLN
182 40 dni1824 PLNDzień dobry
Stworzę parser Copart i zintegruję go z środowiskiem struktury bazy danych, która będzie podłączona do końcowej wersji strony internetowej, integrującej trzy parsery na trzy różnych stronach, a także samą stronę
Dziękuję
-
15 dni1824 PLN
1015 6 0 15 dni1824 PLNDzień dobry. Mam duże doświadczenie w tworzeniu parserów oraz korzystaniu z django/drf. Zapraszam do kontaktu.
-
13 dni1824 PLN
8867 60 0 1 13 dni1824 PLNCześć! My, firma SolidWay, jesteśmy gotowi pomóc w opracowaniu zautomatyzowanego systemu parsowania z autoaukcjonu Copart oraz stworzeniu bazy danych. Mamy doświadczenie w realizacji podobnych projektów, w tym w użyciu Pythona, Django i pracy z PostgreSQL, co pozwoli skutecznie rozwiązać postawione zadania.
Dobrze znamy się na parsowaniu za pomocą Selenium i innych bibliotek, a także na organizacji zadań w tle z Celery i Redis. Nasz zespół będzie mógł wdrożyć API dla Twojej strony-katalogu i zapewnić niezawodne przechowywanie danych.
Omówimy wszystkie szczegóły projektu, aby określić ramy czasowe i budżet po dokładniejszym wyjaśnieniu zadań. Chętnie nawiążemy współpracę!
-
Здравствуйте, Раман. У меня вопрос по некоторым расходам на тестирование и разработку ПО. Аренда сервера, оплата сервиса по решению капчи и покупка прокси трафика. Как будут оплачиваться эти расходы? Например, корпоративные прокси с ротацией стоят в районе $0.6/GB, а мобильные уже 6$/GB.
-
Aktualne zlecenia dla freelancerów w kategorii Bazy danych i SQL
Potrzebny specjalista Power BI do budowy raportów zarządzających na podstawie BAS Księgowość KORPO firmieJesteśmy dystrybutorem międzynarodowych marek sportowych w Ukrainie. Księgowość prowadzona jest w BAS Księgowość KORP.Szukamy specjalisty, który pomoże zbudować system raportowania zarządczego dla kierownictwa firmy na bazie Power BI.Ważne: interesuje nas nie tylko… Bazy danych i SQL, Usługi księgowe ∙ 19 godzin 39 minut temu ∙ 3 oferty |
Zadanie techniczne: Integracja bota czatu Telegram z BAS1. Ogólny opis Należy zrealizować integrację chatbota z systemem BAS w celu przesyłania i rejestrowania danych o towarach (zamówieniach). 2. Dane wejściowe (przesyłane przez chatbota): ID grupy Nazwa towaru (z kodem towaru) Cena towaru 3. Logika działania: Po naciśnięciu… Automatyzacja zarządzania przedsiębiorstwem, Bazy danych i SQL ∙ 22 godziny 37 minut temu ∙ 16 ofert |
Integracja danych 1CZorganizować jakościowe przygotowanie i transfer danych z 1C do BigQuery do dalszego wykorzystania w Looker:Zorganizować dane zgodnie z tym, jakie pola są potrzebne.Przygotować zrozumiałą strukturę tabel i pośrednich zbiorów danych, na których będą budowane… Bazy danych i SQL, Obróbka danych ∙ 2 dni 13 godzin temu ∙ 9 ofert |
Opracowanie prostego systemu controllingu i ewidencji zarządczej w Google Sheets „pod klucz”Nazwa zadania: Opracowanie prostego systemu controllingu i ewidencji zarządczej w Google Sheets „pod klucz” dla firmy budowlanej w Polsce (+ szkolenie online oraz pomoc przy wdrożeniu) O firmie, kontekście i moim głównym problemie Dzień dobry, Poszukuję doświadczonego… Bazy danych i SQL, Usługi księgowe ∙ 3 dni 18 godzin temu ∙ 36 ofert |
Opracowanie analitycznego dashboardu Power BI
164 PLN
Oto nasze zapytanie, potrzebna osoba, która zna się na Power BI: Ekran 1: Strategic Cockpit (Zdrowie finansowe fabryki) Cel: W ciągu 5 sekund zrozumieć, „gdzie tracimy pieniądze i ile?”. KPI Tiles (Górny pasek): Całkowita marża (Fakt vs Plan) w %. Kwota „straty” (wyrażenie… Bazy danych i SQL ∙ 3 dni 22 godziny temu ∙ 13 ofert |