ЧАСТЬ 1 — ПАРСЕР Copart + БАЗА ДАННЫХ (Backend-инфраструктура)
22 175 UAH🎯 Цель
Разработать автоматизированную систему парсинга с автоаукциона Copart, которая будет сохранять данные в централизованную реляционную базу данных PostgreSQL и предоставлять API для сайта-каталога.
🧱 Архитектура
Язык и фреймворк: Python 3.10+, Django Rest Framework
Парсинг: Selenium + Undetected ChromeDriver, Requests, BeautifulSoup
Фоновые задачи: Celery + Redis
Хранение данных: PostgreSQL
Докеризация: по желанию (Docker + docker-compose)
Логирование: JSON-логи + отчёты об ошибках
Авторизация: при необходимости (в аукционах)
Прокси: обязательны
Антикапча: поддержка 2Captcha или аналога
📥 Данные, которые необходимо собирать
| Поле | Описание |
|---|---|
| Марка и модель | Например: "Toyota Camry" |
| Год выпуска | 2019, 2020 и т.д. |
| Пробег | В милях или километрах |
| Цена продажи | В долларах или AED |
| VIN | Уникальный идентификатор автомобиля |
| Состояние | Битый / целый / повреждения |
| Локация | Страна / город / склад |
| Топливо | Бензин / дизель / электричество и т.д. |
| Трансмиссия | Автомат / механика |
| Дата продажи | Уточняется из источника |
| Фото (5+) | Ссылки на изображения |
| Ссылка на лот | Прямая ссылка на источник |
📌 Требования к системе
Работа по расписанию (cron/Celery Beat)
Многопоточность и масштабируемость
Возможность повторного запуска (например,
manage.py parse --source copart)API-эндпоинты:
/api/cars/— список/api/cars/<vin>/— карточкаФильтрация: марка, модель, год, пробег, тип топлива и т.д.
Документация API (Swagger/OpenAPI)
🔧 Дополнительные требования
Документированная структура базы данных
Возможность расширения на новые аукционы
Возможность ручного запуска задач
Защита от дубликатов (VIN + дата продажи)
Уведомления о сбоях (опционально — Telegram, email)
💾 Ожидаемый результат
✔ Рабочий парсер
✔ Данные ежедневно сохраняются в PostgreSQL
✔ API-эндпоинты с фильтрацией
✔ Документация и инструкция по запуску
-
30 дней22 175 UAH
733 7 0 30 дней22 175 UAHЗдравствуйте!
Ознакомился с вашим техническим заданием по разработке парсера для автоаукциона IAAI и построению API на Django REST Framework. Задача хорошо проработана, и я готов реализовать её в полном соответствии с требованиями.
Что сделаю:
Парсер с использованием Selenium, Requests и BeautifulSoup для сбора всех необходимых данных с автоаукциона.
Организацию фоновых задач через Celery + Redis с поддержкой расписания (Celery Beat).
Хранение данных в PostgreSQL с учётом защиты от дубликатов (VIN + дата продажи).
REST API с фильтрацией по основным параметрам, документацией Swagger/OpenAPI.
… Поддержку прокси и антикапчу (2Captcha или аналог).
Возможность расширения на другие аукционы и ручной запуск задач.
Логирование в формате JSON и уведомления о сбоях (Telegram/email по желанию).
Опциональную докеризацию (Docker + docker-compose).
Технологии: Python 3.10+, Django REST Framework, PostgreSQL, Celery, Redis, Selenium.
Сроки и бюджет:
Ориентировочно 3–4 недели на полный цикл разработки с тестированием. Стоимость обсуждается в зависимости от деталей и объема.
Готов обсудить детали, предоставить план работы и этапы.
-
30 дней22 175 UAH
211 30 дней22 175 UAHЗдравствуйте!
Мы очень заинтересованы вашим проектом. Наша команда, состоящая из опытных разработчиков и UI/UX дизайнеров, имеет богатый опыт в создании крупных и масштабируемых платформ. Мы специализируемся на разработке надёжных, высокопроизводительных и интуитивно понятных решений, соответствующих самым современным стандартам.
Мы используем передовые технологии:
Фронтенд: React и Next.js
Бэкенд: Java, Spring Boot, Microservices
Дизайн: Наш UI/UX дизайнер гарантирует эстетику и удобство использования.
Прочее: PostgreSQL, MongoDB, Redis, AWS/GCP/Azure, Docker, Kubernetes.
Мы успешно реализовали ряд сложных проектов в финтехе, e-commerce, SaaS, создавая высоконагруженные и масштабируемые системы. Готовы показать релевантные кейсы при личном общении.
Уверены, наш опыт и комплексный подход помогут успешно реализовать ваш проект. Будем рады обсусить детали и стоимость!
-
7 дней22 175 UAH
1792 40 0 7 дней22 175 UAHПривет! У меня уже есть опыт работы с аукционом copart и я готов выполнить проект для вас!
-
20 дней22 175 UAH
10130 117 0 20 дней22 175 UAHЗдравствуйте.
Я NodeJS разработчик. Готов взяться. Пишите, обсудим.
-
40 дней22 175 UAH
182 40 дней22 175 UAHДобрый день
Сделаю парсер Copart и интегрирую его в среду структуры базы данных которая будет подключена в финальную версию сайта интегрирующую между собой 3 парсера на 3 разных сайта а также сам сайт
Спасибо
-
15 дней22 175 UAH
1015 6 0 15 дней22 175 UAHДобрый день. Имею большой опыт в создании парсеров, а также в использовании django/drf. Обращайтесь.
-
13 дней22 175 UAH
8867 60 0 1 13 дней22 175 UAHПривет! Мы, компания SolidWay, готовы помочь с разработкой автоматизированной системы парсинга с автоаукциона Copart и созданием базы данных. У нас есть опыт в реализации подобных проектов, включая использование Python, Django и работы с PostgreSQL, что позволит эффективно решить поставленные задачи.
Мы хорошо разбираемся в парсинге с помощью Selenium и других библиотек, а также в организации фоновых задач с Celery и Redis. Наша команда сможет внедрить API для вашего сайта-каталога и обеспечить надежное хранение данных.
Мы обсудим все детали проекта, чтобы определить временные рамки и бюджет после того, как проясним задачи более подробно. Будем рады сотрудничать!
-
Здравствуйте, Раман. У меня вопрос по некоторым расходам на тестирование и разработку ПО. Аренда сервера, оплата сервиса по решению капчи и покупка прокси трафика. Как будут оплачиваться эти расходы? Например, корпоративные прокси с ротацией стоят в районе $0.6/GB, а мобильные уже 6$/GB.
-
Актуальные фриланс-проекты в категории Базы данных и SQL
Нужен специалист по Power BI для построения управленческой отчетности на базе BAS Бухгалтерия КОРПО компанииМы являемся дистрибьютором международных спортивных брендов в Украине. Учет ведется в BAS Бухгалтерия КОРП.Ищем специалиста, который поможет построить систему управленческой отчетности для руководства компании на базе Power BI.Важно: нас интересует не просто… Базы данных и SQL, Бухгалтерские услуги ∙ 12 часов 11 минут назад ∙ 3 ставки |
Специалист по Excel / автоматизации процессов (Excel + желательно программирование)Ищем специалиста с ПРОДВИНУТЫМИ знаниями Excel для оптимизации существующего файла и автоматизации процессов. Будет большим преимуществом, если вы также имеете навыки программирования / VBA / Power Query / Power Automate или опыт создания сложной логики в Excel. Задачи проекта… Python, Базы данных и SQL ∙ 14 часов 2 минуты назад ∙ 31 ставка |
Техническое задание: Интеграция чат-бота Telegram с BAS1. Общая информация Необходимо реализовать интеграцию чат-бота с системой BAS для передачи и записи данных о товарах (заказах). 2. Входные данные (что передает чат-бот): ID группы Название товара (с кодом товара) Цена товара 3. Логика работы: При нажатии на кнопку Заказать… Автоматизация управления предприятием, Базы данных и SQL ∙ 15 часов 9 минут назад ∙ 16 ставок |
Интеграция данных 1СОрганизовать качественную подготовку и переток данных из 1С в BigQuery для дальнейшего использования в Looker:Организовать данные в соответствии с тем, какие поля нужны.Подготовить понятную структуру таблиц и промежуточных наборов данных, на которых будут строиться… Базы данных и SQL, Обработка данных ∙ 2 дня 6 часов назад ∙ 9 ставок |
Разработка простого системы контроллинга и управленческого учета в Google Sheets «под ключ»Название задания: Разработка простого системы контроля и управленческого учета в Google Sheets «под ключ» для строительной компании в Польше (+ онлайн обучение и помощь при внедрении) О компании, контексте и моей главной проблеме Добрый день, Я ищу опытного специалиста Google… Базы данных и SQL, Бухгалтерские услуги ∙ 3 дня 11 часов назад ∙ 35 ставок |