CZĘŚĆ 2 — PARSER IAAI + BAZA DANYCH (Infrastruktura backend)
🎯 Cel
Opracować zautomatyzowany system parsowania z autoaukcją IAAI, który będzie zapisywał dane w scentralizowanej relacyjnej bazie danych PostgreSQL i zapewni API dla strony katalogowej.
🧱 Architektura
Język i framework: Python 3.10+, Django Rest Framework
Parsowanie: Selenium + Undetected ChromeDriver, Requests, BeautifulSoup
Zadania w tle: Celery + Redis
Przechowywanie danych: PostgreSQL
Dockerizacja: na życzenie (Docker + docker-compose)
Logowanie: logi JSON + raporty o błędach
Autoryzacja: w razie potrzeby (w aukcjach)
Proxy: obowiązkowe
AntiCaptcha: obsługa 2Captcha lub podobnego
📥 Dane do zebrania
| Pole | Opis |
|---|---|
| Marka i model | Na przykład: "Toyota Camry" |
| Rok produkcji | 2019, 2020 itd. |
| Przebieg | W milach lub kilometrach |
| Cena sprzedaży | W dolarach lub AED |
| VIN | Unikalny identyfikator pojazdu |
| Stan | Uszkodzony / cały / uszkodzenia |
| Lokalizacja | Kraj / miasto / magazyn |
| Paliwo | Benzyna / diesel / elektryczność itd. |
| Transmisja | Automatyczna / manualna |
| Data sprzedaży | Ustalona z źródła |
| Zdjęcia (5+) | Linki do obrazów |
| Link do licytacji | Bezpośredni link do źródła |
📌 Wymagania systemowe
Praca według harmonogramu (cron/Celery Beat)
Wielowątkowość i skalowalność
Możliwość ponownego uruchomienia (np.
manage.py parse --source copart)Punkty końcowe API:
/api/cars/— lista/api/cars/<vin>/— karta pojazduFiltrowanie: marka, model, rok, przebieg, typ paliwa itd.
Dokumentacja API (Swagger/OpenAPI)
🔧 Dodatkowe wymagania
Udokumentowana struktura bazy danych
Możliwość rozszerzenia na nowe aukcje
Możliwość ręcznego uruchamiania zadań
Ochrona przed duplikatami (VIN + data sprzedaży)
Powiadomienia o awariach (opcjonalnie — Telegram, email)
💾 Oczekiwany rezultat
✔ Działający parser
✔ Dane codziennie zapisywane w PostgreSQL
✔ Punkty końcowe API z filtrowaniem
✔ Dokumentacja i instrukcja uruchomienia
-
30 dni1824 PLN
733 7 0 30 dni1824 PLNWitam!
Zapoznałem się z Twoim dokumentem technicznym dotyczącym tworzenia parsera dla autoaukcji IAAI oraz budowy API na Django REST Framework. Zadanie jest dobrze opracowane i jestem gotów zrealizować je w pełni zgodnie z wymaganiami.
Co zrobię:
Parser z użyciem Selenium, Requests i BeautifulSoup do zbierania wszystkich niezbędnych danych z autoaukcji.
Organizacja zadań w tle za pomocą Celery + Redis z obsługą harmonogramu (Celery Beat).
Przechowywanie danych w PostgreSQL z uwzględnieniem ochrony przed duplikatami (VIN + data sprzedaży).
REST API z filtrowaniem po głównych parametrach, dokumentacją Swagger/OpenAPI.
… Wsparcie proxy i antycaptcha (2Captcha lub podobne).
Możliwość rozszerzenia na inne aukcje i ręcznego uruchamiania zadań.
Logowanie w formacie JSON i powiadomienia o awariach (Telegram/e-mail według preferencji).
Opcjonalna konteneryzacja (Docker + docker-compose).
Technologie: Python 3.10+, Django REST Framework, PostgreSQL, Celery, Redis, Selenium.
Termin i budżet:
Około 3–4 tygodnie na pełny cykl rozwoju z testami. Koszt jest do ustalenia w zależności od szczegółów i zakresu.
Chętnie omówię szczegóły, przedstawię plan pracy i etapy.
-
30 dni1820 PLN
211 30 dni1820 PLNWitam!
Jesteśmy bardzo zainteresowani Twoim projektem. Nasz zespół, składający się z doświadczonych programistów i projektantów UI/UX, ma bogate doświadczenie w tworzeniu dużych i skalowalnych platform. Specjalizujemy się w opracowywaniu niezawodnych, wysokowydajnych i intuicyjnych rozwiązań, spełniających najnowsze standardy.
Używamy zaawansowanych technologii:
Frontend: React i Next.js
Backend: Java, Spring Boot, Microservices
Design: Nasz projektant UI/UX gwarantuje estetykę i wygodę użytkowania.
Inne: PostgreSQL, MongoDB, Redis, AWS/GCP/Azure, Docker, Kubernetes.
Z powodzeniem zrealizowaliśmy szereg skomplikowanych projektów w fintech, e-commerce, SaaS, tworząc systemy o dużym obciążeniu i skalowalności. Chętnie pokażemy odpowiednie przykłady podczas rozmowy.
Jesteśmy przekonani, że nasze doświadczenie i kompleksowe podejście pomogą skutecznie zrealizować Twój projekt. Chętnie omówimy szczegóły i koszty!
-
1 dzień1824 PLN
2225 32 0 1 dzień1824 PLNDzień dobry. Mam już wszystkie gotowe rozwiązania dla kopart i iaai .
Mam bazę danych na miliony samochodów .
Zbiera dane z Lify aukcji oraz również według filtrów .
Cena 2000 USD za jedną stronę
-
40 dni1824 PLN
182 40 dni1824 PLNDzień dobry
Stworzę parser IAAI i zintegruję go z środowiskiem struktury bazy danych, która będzie podłączona do końcowej wersji strony internetowej, integrującej ze sobą 3 parsery na 3 różnych stronach oraz samą stronę
Dziękuję
-
13 dni1824 PLN
290 1 0 13 dni1824 PLNCześć! Reprezentuję firmę SolidWay i chętnie pomogę w opracowaniu Twojego zautomatyzowanego systemu parsowania danych z autoaukcjonu IAAI. Mamy duże doświadczenie w podobnych projektach, w tym korzystanie z Pythona i Django Rest Framework, a także integrację z PostgreSQL do przechowywania danych.
Znamy się na technologiach takich jak Selenium, Celery i Redis, i możemy skutecznie wdrożyć wielowątkowość i skalowalność, co zapewni niezawodność działania systemu. Nasz zespół opanował również metody ochrony danych i ich dokumentowania, co pozwoli na dostarczenie pełnej dokumentacji API i struktury bazy danych.
Omówimy szczegóły projektu, aby dokładnie określić, jak najlepiej go zrealizować. Czas i koszt zostaną ustalone po dokładniejszej dyskusji na temat Twoich wymagań. Czekamy na Twoją odpowiedź!
-
15 dni1824 PLN
1015 6 0 15 dni1824 PLNDzień dobry. Mam duże doświadczenie w tworzeniu parserów oraz korzystaniu z django/drf. Zapraszam.
Aktualne zlecenia dla freelancerów w kategorii Bazy danych i SQL
Należy rozebrać bazę danych tak, aby na wyjściu wyszły pliki w formacieJest baza danych forum i pliki forum XENFORO 1.6. Należy stworzyć plik importu do innego skryptu, ale wszystkie pola muszą być zachowane. Przekazuję pliki z wymaganiami oraz plik FAQ, które pola są mi potrzebne. Pliki z wymaganiami dotyczą każdego osobnego typu parametrów. To… Bazy danych i SQL, Parsowanie danych ∙ 4 minuty temu ∙ 3 oferty |
Potrzebny specjalista Power BI do budowy raportów zarządzających na podstawie BAS Księgowość KORPO firmieJesteśmy dystrybutorem międzynarodowych marek sportowych w Ukrainie. Księgowość prowadzona jest w BAS Księgowość KORP.Szukamy specjalisty, który pomoże zbudować system raportowania zarządczego dla kierownictwa firmy na bazie Power BI.Ważne: interesuje nas nie tylko… Bazy danych i SQL, Usługi księgowe ∙ 3 dni 13 godzin temu ∙ 6 ofert |
Zadanie techniczne: Integracja bota czatu Telegram z BAS1. Ogólny opis Należy zrealizować integrację chatbota z systemem BAS w celu przesyłania i rejestrowania danych o towarach (zamówieniach). 2. Dane wejściowe (przesyłane przez chatbota): ID grupy Nazwa towaru (z kodem towaru) Cena towaru 3. Logika działania: Po naciśnięciu… Automatyzacja zarządzania przedsiębiorstwem, Bazy danych i SQL ∙ 3 dni 16 godzin temu ∙ 19 ofert |
Integracja danych 1CZorganizować jakościowe przygotowanie i transfer danych z 1C do BigQuery do dalszego wykorzystania w Looker:Zorganizować dane zgodnie z tym, jakie pola są potrzebne.Przygotować zrozumiałą strukturę tabel i pośrednich zbiorów danych, na których będą budowane… Bazy danych i SQL, Obróbka danych ∙ 5 dni 7 godzin temu ∙ 9 ofert |
Opracowanie prostego systemu controllingu i ewidencji zarządczej w Google Sheets „pod klucz”Nazwa zadania: Opracowanie prostego systemu controllingu i ewidencji zarządczej w Google Sheets „pod klucz” dla firmy budowlanej w Polsce (+ szkolenie online oraz pomoc przy wdrożeniu) O firmie, kontekście i moim głównym problemie Dzień dobry, Poszukuję doświadczonego… Bazy danych i SQL, Usługi księgowe ∙ 6 dni 12 godzin temu ∙ 36 ofert |