ЧАСТИНА 1 — ПАРСЕР Copart + БАЗА ДАНИХ (Backend-інфраструктура)
🎯 Мета
Розробити автоматизовану систему парсингу з автоаукціону Copart, яка буде зберігати дані у централізовану реляційну базу даних PostgreSQL та надавати API для сайту-каталогу.
🧱 Архітектура
Мова та фреймворк: Python 3.10+, Django Rest Framework
Парсинг: Selenium + Undetected ChromeDriver, Requests, BeautifulSoup
Фонові задачі: Celery + Redis
Зберігання даних: PostgreSQL
Докеризація: за бажанням (Docker + docker-compose)
Логування: JSON-логи + звіти про помилки
Авторизація: за потреби (в аукціонах)
Проксі: обов’язкові
Антикапча: підтримка 2Captcha або аналога
📥 Дані, які потрібно збирати
| Поле | Опис |
|---|---|
| Марка і модель | Наприклад: "Toyota Camry" |
| Рік випуску | 2019, 2020 і т.д. |
| Пробіг | В милях або кілометрах |
| Ціна продажу | В доларах або AED |
| VIN | Унікальний ідентифікатор автомобіля |
| Стан | Битий / цілий / пошкодження |
| Локація | Країна / місто / склад |
| Топливо | Бензин / дизель / електрика і т.д. |
| Трансмісія | Автомат / механіка |
| Дата продажу | Уточнюється з джерела |
| Фото (5+) | Посилання на зображення |
| Посилання на лот | Пряма посилання на джерело |
📌 Вимоги до системи
Робота за розкладом (cron/Celery Beat)
Багатопоточність та масштабованість
Можливість повторного запуску (наприклад,
manage.py parse --source copart)API-ендпоінти:
/api/cars/— список/api/cars/<vin>/— карткаФільтрація: марка, модель, рік, пробіг, тип пального і т.д.
Документація API (Swagger/OpenAPI)
🔧 Додаткові вимоги
Документована структура бази даних
Можливість розширення на нові аукціони
Можливість ручного запуску задач
Захист від дублікатів (VIN + дата продажу)
Сповіщення про збої (опціонально — Telegram, email)
💾 Очікуваний результат
✔ Робочий парсер
✔ Щоденно дані зберігаються у PostgreSQL
✔ API-ендпоінти з фільтрацією
✔ Документація та інструкція щодо запуску
-
30 днів22 175 UAH
733 7 0 30 днів22 175 UAHВітаю!
Ознайомився з вашим технічним завданням щодо розробки парсера для автоаукціону IAAI та побудови API на Django REST Framework. Завдання добре пророблене, і я готовий реалізувати його у повній відповідності з вимогами.
Що зроблю:
Парсер із використанням Selenium, Requests і BeautifulSoup для збору всіх необхідних даних з автоаукціону.
Організацію фонових задач через Celery + Redis з підтримкою розкладу (Celery Beat).
Збереження даних у PostgreSQL з урахуванням захисту від дублікатів (VIN + дата продажу).
REST API з фільтрацією за основними параметрами, документацією Swagger/OpenAPI.
… Підтримку проксі та антикапчу (2Captcha або аналог).
Можливість розширення на інші аукціони та ручний запуск задач.
Логування у форматі JSON та сповіщення про збої (Telegram/email за бажанням).
Опціональну докеризацію (Docker + docker-compose).
Технології: Python 3.10+, Django REST Framework, PostgreSQL, Celery, Redis, Selenium.
Терміни та бюджет:
Приблизно 3–4 тижні на повний цикл розробки з тестуванням. Вартість обговорюється залежно від деталей та обсягу.
Готовий обговорити деталі, надати план роботи та етапи.
-
30 днів22 175 UAH
211 30 днів22 175 UAHЗдравствуйте!
Ми дуже зацікавлені вашим проектом. Наша команда, що складається з досвідчених розробників та UI/UX дизайнерів, має багатий досвід у створенні великих та масштабованих платформ. Ми спеціалізуємося на розробці надійних, високопродуктивних та інтуїтивно зрозумілих рішень, що відповідають найсучаснішим стандартам.
Ми використовуємо передові технології:
Фронтенд: React та Next.js
Бекенд: Java, Spring Boot, Microservices
Дизайн: Наш UI/UX дизайнер гарантує естетику та зручність використання.
Інше: PostgreSQL, MongoDB, Redis, AWS/GCP/Azure, Docker, Kubernetes.
Ми успішно реалізували ряд складних проектів у фінтеху, e-commerce, SaaS, створюючи високонавантажені та масштабовані системи. Готові показати релевантні кейси при особистому спілкуванні.
Впевнені, що наш досвід і комплексний підхід допоможуть успішно реалізувати ваш проект. Будемо раді обговорити деталі та вартість!
-
7 днів22 175 UAH
1767 40 0 7 днів22 175 UAHВітаю! Я вже мав досвід з аукціоном copart і готовий виконати проєкт для вас!
-
20 днів22 175 UAH
10130 117 0 20 днів22 175 UAHЗдравствуйте.
Я NodeJS розробник. Готовий взятися. Пишіть, обговоримо.
-
40 днів22 175 UAH
182 40 днів22 175 UAHДобрий день
Зроблю парсер Copart і інтегрую його у середу структури бази даних, яка буде підключена до фінальної версії сайту, що інтегрує між собою 3 парсери на 3 різних сайтах, а також сам сайт
Дякую
-
15 днів22 175 UAH
1015 6 0 15 днів22 175 UAHДоброго дня. Маю великий досвід в створенні парсерів, та використанні django/drf. Звертайтесь.
-
13 днів22 175 UAH
8867 60 0 1 13 днів22 175 UAHПривіт! Ми, компанія SolidWay, готові допомогти з розробкою автоматизованої системи парсингу з автоаукціону Copart і створенням бази даних. У нас є досвід у реалізації подібних проектів, включаючи використання Python, Django і роботи з PostgreSQL, що дозволить ефективно вирішити поставлені завдання.
Ми добре розбираємося у парсингу за допомогою Selenium і інших бібліотек, а також у організації фонових задач з Celery і Redis. Наша команда зможе впровадити API для вашого сайту-каталогу і забезпечити надійне зберігання даних.
Ми обговоримо всі деталі проекту, щоб визначити часові рамки і бюджет після того, як прояснимо завдання більш детально. Будемо раді співпраці!
-
Здравствуйте, Раман. У меня вопрос по некоторым расходам на тестирование и разработку ПО. Аренда сервера, оплата сервиса по решению капчи и покупка прокси трафика. Как будут оплачиваться эти расходы? Например, корпоративные прокси с ротацией стоят в районе $0.6/GB, а мобильные уже 6$/GB.
-
Актуальні фриланс-проєкти в категорії Бази даних та SQL
Потрібен Power BI спеціаліст для побудови управлінської звітності на базі BAS Бухгалтерія КОРППро компаніюМи є дистриб’ютором міжнародних спортивних брендів в Україні. Облік ведеться в BAS Бухгалтерія КОРП.Шукаємо спеціаліста, який допоможе побудувати систему управлінської звітності для керівництва компанії на базі Power BI.Важливо: нас цікавить не просто візуалізація… Бази даних та SQL, Бухгалтерські послуги ∙ 1 день 19 годин тому ∙ 4 ставки |
Технічне завдання: Інтеграція чат-бота Telegram з BAS1. Загальний опис Необхідно реалізувати інтеграцію чат-бота з системою BAS для передачі та запису даних про товари (замовлення). 2. Вхідні дані (що передає чат-бот): ID групи Назва товару (з кодом товару) Ціна товару 3. Логіка роботи: При натисканні накнопку Замовити Чат-бот… Автоматизація управління підприємством, Бази даних та SQL ∙ 1 день 22 години тому ∙ 17 ставок |
Интеграция данных 1СОрганізувати якісну підготовку та перетік данніх з 1С у BigQuery для подальшого використання у Looker:Організувати данізгідно того, які поля потрібні.Підготувати зрозумілу структуру таблиць і проміжних наборів даних, на яких будуватимуться дашборди.Налаштувати завантаження… Бази даних та SQL, Обробка даних ∙ 3 дні 13 годин тому ∙ 9 ставок |
Розробка простого системи контролінгу та обліку управлінського в Google Sheets «під ключ»Назва завдання: Розробка простого системи контролінгу та обліку управлінського в Google Sheets "під ключ" для будівельної компанії в Польщі (+ онлайн навчання та допомога при впровадженні) Про компанію, контекст і мою основну проблему Доброго дня, Шукаю досвідченого спеціаліста… Бази даних та SQL, Бухгалтерські послуги ∙ 4 дні 18 годин тому ∙ 36 ставок |
Розробка аналітичного Power BI дашборду
2000 UAH
Ось такий у нас запит, потрібна людина яка розбирається з Power BI: Екран 1: Strategic Cockpit (Фінансове здоров'я заводу) Ціль: За 5 секунд зрозуміти, «де ми втрачаємо гроші і скільки?». KPI Tiles (Верхня смуга): Загальна маржа (Факт vs План) в %. Сума «упущеної вигоди»… Бази даних та SQL ∙ 4 дні 22 години тому ∙ 13 ставок |