ЧАСТЬ 2 — ПАРСЕР IAAI + БАЗА ДАННЫХ (Backend-инфраструктура)
22 175 UAH🎯 Цель
Разработать автоматизированную систему парсинга с автоаукциона IAAI, которая будет сохранять данные в централизованную реляционную базу данных PostgreSQL и предоставлять API для сайта-каталога.
🧱 Архитектура
Язык и фреймворк: Python 3.10+, Django Rest Framework
Парсинг: Selenium + Undetected ChromeDriver, Requests, BeautifulSoup
Фоновые задачи: Celery + Redis
Хранение данных: PostgreSQL
Докеризация: по желанию (Docker + docker-compose)
Логирование: JSON-логи + отчёты об ошибках
Авторизация: при необходимости (в аукционах)
Прокси: обязательны
Антикапча: поддержка 2Captcha или аналога
📥 Данные, которые необходимо собирать
| Поле | Описание |
|---|---|
| Марка и модель | Например: "Toyota Camry" |
| Год выпуска | 2019, 2020 и т.д. |
| Пробег | В милях или километрах |
| Цена продажи | В долларах или AED |
| VIN | Уникальный идентификатор автомобиля |
| Состояние | Битый / целый / повреждения |
| Локация | Страна / город / склад |
| Топливо | Бензин / дизель / электричество и т.д. |
| Трансмиссия | Автомат / механика |
| Дата продажи | Уточняется из источника |
| Фото (5+) | Ссылки на изображения |
| Ссылка на лот | Прямая ссылка на источник |
📌 Требования к системе
Работа по расписанию (cron/Celery Beat)
Многопоточность и масштабируемость
Возможность повторного запуска (например,
manage.py parse --source copart)API-эндпоинты:
/api/cars/— список/api/cars/<vin>/— карточкаФильтрация: марка, модель, год, пробег, тип топлива и т.д.
Документация API (Swagger/OpenAPI)
🔧 Дополнительные требования
Документированная структура базы данных
Возможность расширения на новые аукционы
Возможность ручного запуска задач
Защита от дубликатов (VIN + дата продажи)
Уведомления о сбоях (опционально — Telegram, email)
💾 Ожидаемый результат
✔ Рабочий парсер
✔ Данные ежедневно сохраняются в PostgreSQL
✔ API-эндпоинты с фильтрацией
✔ Документация и инструкция по запуску
-
30 дней22 175 UAH
733 7 0 30 дней22 175 UAHЗдравствуйте!
Ознакомился с вашим техническим заданием по разработке парсера для автоаукциона IAAI и построению API на Django REST Framework. Задача хорошо проработана, и я готов реализовать её в полном соответствии с требованиями.
Что сделаю:
Парсер с использованием Selenium, Requests и BeautifulSoup для сбора всех необходимых данных с автоаукциона.
Организацию фоновых задач через Celery + Redis с поддержкой расписания (Celery Beat).
Хранение данных в PostgreSQL с учётом защиты от дубликатов (VIN + дата продажи).
REST API с фильтрацией по основным параметрам, документацией Swagger/OpenAPI.
… Поддержку прокси и антикапчу (2Captcha или аналог).
Возможность расширения на другие аукционы и ручной запуск задач.
Логирование в формате JSON и уведомления о сбоях (Telegram/email по желанию).
Опциональную докеризацию (Docker + docker-compose).
Технологии: Python 3.10+, Django REST Framework, PostgreSQL, Celery, Redis, Selenium.
Сроки и бюджет:
Ориентировочно 3–4 недели на полный цикл разработки с тестированием. Стоимость обсуждается в зависимости от деталей и объема.
Готов обсудить детали, предоставить план работы и этапы.
-
30 дней22 130 UAH
211 30 дней22 130 UAHЗдравствуйте!
Мы очень заинтересованы вашим проектом. Наша команда, состоящая из опытных разработчиков и UI/UX дизайнеров, имеет богатый опыт в создании крупных и масштабируемых платформ. Мы специализируемся на разработке надёжных, высокопроизводительных и интуитивно понятных решений, соответствующих самым современным стандартам.
Мы используем передовые технологии:
Фронтенд: React и Next.js
Бэкенд: Java, Spring Boot, Microservices
Дизайн: Наш UI/UX дизайнер гарантирует эстетику и удобство использования.
Прочее: PostgreSQL, MongoDB, Redis, AWS/GCP/Azure, Docker, Kubernetes.
Мы успешно реализовали ряд сложных проектов в финтехе, e-commerce, SaaS, создавая высоконагруженные и масштабируемые системы. Готовы показать релевантные кейсы при личном общении.
Уверены, наш опыт и комплексный подход помогут успешно реализовать ваш проект. Будем рады обсусить детали и стоимость!
-
1 день22 175 UAH
2225 32 0 1 день22 175 UAHДобрый день. У меня уже есть все готовые решения для копарт и ииаи .
У меня есть база данных на миллионы машин .
Собирает данные с Лайф аукционов и также по инф фильтрам .
Цена 2000 Дол США за один сайт
-
40 дней22 175 UAH
182 40 дней22 175 UAHДобрый день
Сделаю парсер IAAI и интегрирую его в среду структуры базы данных которая будет подключена в финальную версию сайта интегрирующую между собой 3 парсера на 3 разных сайта а также сам сайт
Спасибо
-
13 дней22 175 UAH
290 1 0 13 дней22 175 UAHПривет! Я представляю компанию SolidWay и готов помочь с разработкой вашей автоматизированной системы парсинга данных с автоаукциона IAAI. У нас есть большой опыт работы с подобными проектами, включая использование Python и Django Rest Framework, а также интеграцию с PostgreSQL для хранения данных.
Мы знакомы с необходимыми технологиями, такими как Selenium, Celery и Redis, и можем эффективно реализовать многопоточность и масштабируемость, что обеспечит надежную работу системы. Наша команда также освоила методы защиты данных и их документирования, что позволит предоставить вам полную документацию по API и структуре базы данных.
Мы обсудим детали проекта, чтобы точно определить, как лучше всего его реализовать. Время и стоимость будут определены после более глубокого обсуждения ваших требований. Ждем вашего ответа!
-
15 дней22 175 UAH
1015 6 0 15 дней22 175 UAHДобрый день. Имею большой опыт в создании парсеров, а также в использовании django/drf. Обращайтесь.
Актуальные фриланс-проекты в категории Базы данных и SQL
Нужен специалист по Power BI для построения управленческой отчетности на базе BAS Бухгалтерия КОРПО компанииМы являемся дистрибьютором международных спортивных брендов в Украине. Учет ведется в BAS Бухгалтерия КОРП.Ищем специалиста, который поможет построить систему управленческой отчетности для руководства компании на базе Power BI.Важно: нас интересует не просто… Базы данных и SQL, Бухгалтерские услуги ∙ 2 дня 3 часа назад ∙ 4 ставки |
Техническое задание: Интеграция чат-бота Telegram с BAS1. Общая информация Необходимо реализовать интеграцию чат-бота с системой BAS для передачи и записи данных о товарах (заказах). 2. Входные данные (что передает чат-бот): ID группы Название товара (с кодом товара) Цена товара 3. Логика работы: При нажатии на кнопку Заказать… Автоматизация управления предприятием, Базы данных и SQL ∙ 2 дня 6 часов назад ∙ 18 ставок |
Интеграция данных 1СОрганизовать качественную подготовку и переток данных из 1С в BigQuery для дальнейшего использования в Looker:Организовать данные в соответствии с тем, какие поля нужны.Подготовить понятную структуру таблиц и промежуточных наборов данных, на которых будут строиться… Базы данных и SQL, Обработка данных ∙ 3 дня 21 час назад ∙ 9 ставок |
Разработка простого системы контроллинга и управленческого учета в Google Sheets «под ключ»Название задания: Разработка простого системы контроля и управленческого учета в Google Sheets «под ключ» для строительной компании в Польше (+ онлайн обучение и помощь при внедрении) О компании, контексте и моей главной проблеме Добрый день, Я ищу опытного специалиста Google… Базы данных и SQL, Бухгалтерские услуги ∙ 5 дней 2 часа назад ∙ 36 ставок |
Розробка аналітичного Power BI дашборду
2000 UAH
Ось такий у нас запит, потрібна людина яка розбирається з Power BI: Экран 1: Strategic Cockpit (Финансовое здоровье завода) Цель: За 5 секунд понять, «где мы теряем деньги и сколько?». KPI Tiles (Верхняя полоса): Общая маржа (Факт vs План) в %. Сумма «упущенной выгоды»… Базы данных и SQL ∙ 5 дней 6 часов назад ∙ 13 ставок |