ЧАСТЬ 3 — ПАРСЕР Emirates Auction.com + БАЗА ДАННЫХ (Backend-инфраструктура)
22 461 UAH🎯 Цель
Разработать автоматизированную систему парсинга с автоаукциона Emirates Auction, которая будет сохранять данные в централизованную реляционную базу данных PostgreSQL и предоставлять API для сайта-каталога.
🧱 Архитектура
Язык и фреймворк: Python 3.10+, Django Rest Framework
Парсинг: Selenium + Undetected ChromeDriver, Requests, BeautifulSoup
Фоновые задачи: Celery + Redis
Хранение данных: PostgreSQL
Докеризация: по желанию (Docker + docker-compose)
Логирование: JSON-логи + отчёты об ошибках
Авторизация: при необходимости (в аукционах)
Прокси: обязательны
Антикапча: поддержка 2Captcha или аналога
📥 Данные, которые необходимо собирать
| Поле | Описание |
|---|---|
| Марка и модель | Например: "Toyota Camry" |
| Год выпуска | 2019, 2020 и т.д. |
| Пробег | В милях или километрах |
| Цена продажи | В долларах или AED |
| VIN | Уникальный идентификатор автомобиля |
| Состояние | Битый / целый / повреждения |
| Локация | Страна / город / склад |
| Топливо | Бензин / дизель / электричество и т.д. |
| Трансмиссия | Автомат / механика |
| Дата продажи | Уточняется из источника |
| Фото (5+) | Ссылки на изображения |
| Ссылка на лот | Прямая ссылка на источник |
📌 Требования к системе
Работа по расписанию (cron/Celery Beat)
Многопоточность и масштабируемость
Возможность повторного запуска (например,
manage.py parse --source copart)API-эндпоинты:
/api/cars/— список/api/cars/<vin>/— карточкаФильтрация: марка, модель, год, пробег, тип топлива и т.д.
Документация API (Swagger/OpenAPI)
🔧 Дополнительные требования
Документированная структура базы данных
Возможность расширения на новые аукционы
Возможность ручного запуска задач
Защита от дубликатов (VIN + дата продажи)
Уведомления о сбоях (опционально — Telegram, email)
💾 Ожидаемый результат
✔ Рабочий парсер
✔ Данные ежедневно сохраняются в PostgreSQL
✔ API-эндпоинты с фильтрацией
✔ Документация и инструкция по запуску
-
15 дней22 461 UAH
128 15 дней22 461 UAHЗдравствуйте!
Я — Python-разработчик с опытом парсинга динамических сайтов с Selenium, использованием прокси и антикапчи. Создавал надёжные решения с PostgreSQL, Celery для фоновых задач и REST API на Django Rest Framework с фильтрацией и документацией.
Готов реализовать парсер Emirates Auction с сохранением данных в базу, настроить API с фильтрами, фоновые задачи и уведомления. Также могу помочь с докеризацией и логированием.
Буду рад обсудить детали и начать работу.
С уважением,
… Урмат
-
30 дней22 461 UAH
700 7 0 30 дней22 461 UAHЗдравствуйте!
Ознакомился с вашим техническим заданием по разработке парсера для автоаукциона IAAI и построению API на Django REST Framework. Задача хорошо проработана, и я готов реализовать её в полном соответствии с требованиями.
Что сделаю:
Парсер с использованием Selenium, Requests и BeautifulSoup для сбора всех необходимых данных с автоаукциона.
Организацию фоновых задач через Celery + Redis с поддержкой расписания (Celery Beat).
Хранение данных в PostgreSQL с учётом защиты от дубликатов (VIN + дата продажи).
REST API с фильтрацией по основным параметрам, документацией Swagger/OpenAPI.
… Поддержку прокси и антикапчу (2Captcha или аналог).
Возможность расширения на другие аукционы и ручной запуск задач.
Логирование в формате JSON и уведомления о сбоях (Telegram/email по желанию).
Опциональную докеризацию (Docker + docker-compose).
Технологии: Python 3.10+, Django REST Framework, PostgreSQL, Celery, Redis, Selenium.
Сроки и бюджет:
Ориентировочно 3–4 недели на полный цикл разработки с тестированием. Стоимость обсуждается в зависимости от деталей и объема.
Готов обсудить детали, предоставить план работы и этапы.
-
30 дней22 461 UAH
235 30 дней22 461 UAHЗдравствуйте!
Мы очень заинтересованы вашим проектом. Наша команда, состоящая из опытных разработчиков и UI/UX дизайнеров, имеет богатый опыт в создании крупных и масштабируемых платформ. Мы специализируемся на разработке надёжных, высокопроизводительных и интуитивно понятных решений, соответствующих самым современным стандартам.
Мы используем передовые технологии:
Фронтенд: React и Next.js
Бэкенд: Java, Spring Boot, Microservices
Дизайн: Наш UI/UX дизайнер гарантирует эстетику и удобство использования.
Прочее: PostgreSQL, MongoDB, Redis, AWS/GCP/Azure, Docker, Kubernetes.
Мы успешно реализовали ряд сложных проектов в финтехе, e-commerce, SaaS, создавая высоконагруженные и масштабируемые системы. Готовы показать релевантные кейсы при личном общении.
Уверены, наш опыт и комплексный подход помогут успешно реализовать ваш проект. Будем рады обсусить детали и стоимость!
-
40 дней22 461 UAH
182 40 дней22 461 UAHДобрый день
Сделаю парсер Emirates Auction.com и интегрирую его в среду структуры базы данных которая будет подключена в финальную версию сайта интегрирующую между собой 3 парсера на 3 разных сайта а также сам сайт
Спасибо
-
15 дней22 461 UAH
1015 6 0 15 дней22 461 UAHДобрый день. Имею большой опыт в создании парсеров, а также в использовании django/drf. Обращайтесь.
Актуальные фриланс-проекты в категории Базы данных и SQL
Необходимо проверить скритими и обновить данные в бд postgres.Необходимо поправить sql скрипты для базы postgres. Нужно проверить скритими и обновить данные с внешних таблиц Excel и между 2-мя базами (разные сервера) Postgres. Запуск скриптов через AnyDesk программа Navicat. Перечень данных для проверки и корректировки: 1. Товары… Базы данных и SQL ∙ 1 день 15 часов назад ∙ 18 ставок |
Нужен Airtable-архитектор для построения реляционной схемы и новой чистой базы AirtableНеобходимо помочь переосмыслить и построить чистую реляционную схему для внутренней операционной системы на Airtable. Текущая база уже используется командой, но она выросла органически: структура частично плоская, часть таблиц/вьюшек используется активно, часть почти не… Базы данных и SQL, Десктопные приложения ∙ 2 дня 9 часов назад ∙ 9 ставок |
Платформа образования по тренерству в баскетболе + индивидуальная CMSПлатформа образования по баскетбольному тренерству + Пользовательская CMSОбзор проектаМы ищем опытную команду веб-разработчиков или full-stack разработчика для создания современной платформы образования по баскетбольному тренерству.Сайт предоставит баскетбольным тренерам… Базы данных и SQL, Веб-программирование ∙ 3 дня 2 часа назад ∙ 89 ставок |
Интеграция вайбер в 8.3
10 000 UAH
Необходима интеграция Viber в собственную CRM (1С 8.3)О компании Компания "Домофон Систем" занимается установкой и обслуживанием домофонных систем. База более 40 000 абонентов. Работаем на собственной доработанной системе на базе 1С 8.3. Ищем специалиста или команду для… Базы данных и SQL, Разработка ботов ∙ 3 дня 6 часов назад ∙ 16 ставок |
Доопрацювання 1С УТ 11 для ТСД Zebra (RDP): різні звукові сигнали при скануванні
1000 UAH
Конфигурация: 1С УТ 11 Адресный склад ТСД Zebra TC26 Работа через RDP Сканирование товаров выполняется в документах приемки, размещения, отбора и других складских операциях. Текущая проблема: Кладовщики работают через ТСД Zebra. При сканировании не всегда замечают сообщения на… C#, Базы данных и SQL ∙ 5 дней 3 часа назад ∙ 6 ставок |