ЧАСТИНА 1 — ПАРСЕР Copart + БАЗА ДАНИХ (Backend-інфраструктура)
22 461 UAH
🎯 Мета
Розробити автоматизовану систему парсингу з автоаукціону Copart, яка буде зберігати дані у централізовану реляційну базу даних PostgreSQL та надавати API для сайту-каталогу.
🧱 Архітектура
Мова та фреймворк: Python 3.10+, Django Rest Framework
Парсинг: Selenium + Undetected ChromeDriver, Requests, BeautifulSoup
Фонові задачі: Celery + Redis
Зберігання даних: PostgreSQL
Докеризація: за бажанням (Docker + docker-compose)
Логування: JSON-логи + звіти про помилки
Авторизація: за потреби (в аукціонах)
Проксі: обов’язкові
Антикапча: підтримка 2Captcha або аналога
📥 Дані, які потрібно збирати
| Поле | Опис |
|---|---|
| Марка і модель | Наприклад: "Toyota Camry" |
| Рік випуску | 2019, 2020 і т.д. |
| Пробіг | В милях або кілометрах |
| Ціна продажу | В доларах або AED |
| VIN | Унікальний ідентифікатор автомобіля |
| Стан | Битий / цілий / пошкодження |
| Локація | Країна / місто / склад |
| Топливо | Бензин / дизель / електрика і т.д. |
| Трансмісія | Автомат / механіка |
| Дата продажу | Уточнюється з джерела |
| Фото (5+) | Посилання на зображення |
| Посилання на лот | Пряма посилання на джерело |
📌 Вимоги до системи
Робота за розкладом (cron/Celery Beat)
Багатопоточність та масштабованість
Можливість повторного запуску (наприклад,
manage.py parse --source copart)API-ендпоінти:
/api/cars/— список/api/cars/<vin>/— карткаФільтрація: марка, модель, рік, пробіг, тип пального і т.д.
Документація API (Swagger/OpenAPI)
🔧 Додаткові вимоги
Документована структура бази даних
Можливість розширення на нові аукціони
Можливість ручного запуску задач
Захист від дублікатів (VIN + дата продажу)
Сповіщення про збої (опціонально — Telegram, email)
💾 Очікуваний результат
✔ Робочий парсер
✔ Щоденно дані зберігаються у PostgreSQL
✔ API-ендпоінти з фільтрацією
✔ Документація та інструкція щодо запуску
-
30 днів22 461 UAH
700 7 0 30 днів22 461 UAHВітаю!
Ознайомився з вашим технічним завданням щодо розробки парсера для автоаукціону IAAI та побудови API на Django REST Framework. Завдання добре пророблене, і я готовий реалізувати його у повній відповідності з вимогами.
Що зроблю:
Парсер із використанням Selenium, Requests і BeautifulSoup для збору всіх необхідних даних з автоаукціону.
Організацію фонових задач через Celery + Redis з підтримкою розкладу (Celery Beat).
Збереження даних у PostgreSQL з урахуванням захисту від дублікатів (VIN + дата продажу).
REST API з фільтрацією за основними параметрами, документацією Swagger/OpenAPI.
… Підтримку проксі та антикапчу (2Captcha або аналог).
Можливість розширення на інші аукціони та ручний запуск задач.
Логування у форматі JSON та сповіщення про збої (Telegram/email за бажанням).
Опціональну докеризацію (Docker + docker-compose).
Технології: Python 3.10+, Django REST Framework, PostgreSQL, Celery, Redis, Selenium.
Терміни та бюджет:
Приблизно 3–4 тижні на повний цикл розробки з тестуванням. Вартість обговорюється залежно від деталей та обсягу.
Готовий обговорити деталі, надати план роботи та етапи.
-
30 днів22 461 UAH
235 30 днів22 461 UAHЗдравствуйте!
Ми дуже зацікавлені вашим проектом. Наша команда, що складається з досвідчених розробників та UI/UX дизайнерів, має багатий досвід у створенні великих та масштабованих платформ. Ми спеціалізуємося на розробці надійних, високопродуктивних та інтуїтивно зрозумілих рішень, що відповідають найсучаснішим стандартам.
Ми використовуємо передові технології:
Фронтенд: React та Next.js
Бекенд: Java, Spring Boot, Microservices
Дизайн: Наш UI/UX дизайнер гарантує естетику та зручність використання.
Інше: PostgreSQL, MongoDB, Redis, AWS/GCP/Azure, Docker, Kubernetes.
Ми успішно реалізували ряд складних проектів у фінтеху, e-commerce, SaaS, створюючи високонавантажені та масштабовані системи. Готові показати релевантні кейси при особистому спілкуванні.
Впевнені, що наш досвід і комплексний підхід допоможуть успішно реалізувати ваш проект. Будемо раді обговорити деталі та вартість!
-
7 днів22 461 UAH
1767 40 0 7 днів22 461 UAHВітаю! Я вже мав досвід з аукціоном copart і готовий виконати проєкт для вас!
-
20 днів22 461 UAH
9927 117 0 20 днів22 461 UAHЗдравствуйте.
Я NodeJS розробник. Готовий взятися. Пишіть, обговоримо.
-
40 днів22 461 UAH
182 40 днів22 461 UAHДобрий день
Зроблю парсер Copart і інтегрую його у середу структури бази даних, яка буде підключена до фінальної версії сайту, що інтегрує між собою 3 парсери на 3 різних сайтах, а також сам сайт
Дякую
-
15 днів22 461 UAH
1015 6 0 15 днів22 461 UAHДоброго дня. Маю великий досвід в створенні парсерів, та використанні django/drf. Звертайтесь.
-
13 днів22 461 UAH
8773 60 0 1 13 днів22 461 UAHПривіт! Ми, компанія SolidWay, готові допомогти з розробкою автоматизованої системи парсингу з автоаукціону Copart і створенням бази даних. У нас є досвід у реалізації подібних проектів, включаючи використання Python, Django і роботи з PostgreSQL, що дозволить ефективно вирішити поставлені завдання.
Ми добре розбираємося у парсингу за допомогою Selenium і інших бібліотек, а також у організації фонових задач з Celery і Redis. Наша команда зможе впровадити API для вашого сайту-каталогу і забезпечити надійне зберігання даних.
Ми обговоримо всі деталі проекту, щоб визначити часові рамки і бюджет після того, як прояснимо завдання більш детально. Будемо раді співпраці!
-
Здравствуйте, Раман. У меня вопрос по некоторым расходам на тестирование и разработку ПО. Аренда сервера, оплата сервиса по решению капчи и покупка прокси трафика. Как будут оплачиваться эти расходы? Например, корпоративные прокси с ротацией стоят в районе $0.6/GB, а мобильные уже 6$/GB.
-
Актуальні фриланс-проєкти в категорії Бази даних та SQL
Необхідно перевірити скриті та оновити дані в базі даних postgres.Необхідно виправити sql скрипти для бази postgres. Потрібно перевірити скрипти і оновити дані з зовнішніх таблиць Excel і між 2-ма базами (різні сервери) Postgres. Запуск скриптів через AnyDesk програма Navicat. Перелік даних для перевірки і коригування: 1. Товари, що… Бази даних та SQL ∙ 1 день 12 годин тому ∙ 18 ставок |
Потрібен Airtable-архітектор для побудови relational schema та нового clean Airtable baseПотрібно допомогти переосмислити та побудувати чисту relational-схему для внутрішньої операційної системи на Airtable. Поточна база вже використовується командою, але вона виросла органічно: структура частково плоска, частина таблиць/в’юшок використовується активно, частина… Бази даних та SQL, Десктопні додатки ∙ 2 дні 5 годин тому ∙ 9 ставок |
Платформа для навчання тренерів з баскетболу + Кастомізована CMSПлатформа освіти з баскетбольного тренерства + Кастомізована CMSОгляд проектуМи шукаємо досвідчену команду веб-розробників або full-stack розробника для створення сучасної платформи освіти з баскетбольного тренерства.Вебсайт надасть баскетбольним тренерам доступ до… Бази даних та SQL, Веб-програмування ∙ 2 дні 23 години тому ∙ 89 ставок |
Інтеграція вайбер в 8.3
10 000 UAH
Потрібна інтеграція Viber у власну CRM (1С 8.3)Про компанію Компанія "Домофон Систем" займається встановленням та обслуговуванням домофонних систем. База понад 40 000 абонентів. Працюємо на власній доопрацьованій системі на базі 1С 8.3. Шукаємо спеціаліста або команду для… Бази даних та SQL, Розробка ботів ∙ 3 дні 2 години тому ∙ 16 ставок |
Доопрацювання 1С УТ 11 для ТСД Zebra (RDP): різні звукові сигнали при скануванні
1000 UAH
Конфігурація: 1С УТ 11 Адресний склад ТСД Zebra TC26 Робота через RDP Сканування товарів виконується в документах приймання, розміщення, відбору та інших складських операціях. Поточна проблема: Комірники працюють через ТСД Zebra. При скануванні не завжди помічають повідомлення… C#, Бази даних та SQL ∙ 5 днів тому ∙ 6 ставок |
Дубаї