ЧАСТИНА 3 — ПАРСЕР Emirates Auction.com + БАЗА ДАНИХ (Backend-інфраструктура)
🎯 Мета
Розробити автоматизовану систему парсингу з автоаукціону Emirates Auction, яка буде зберігати дані у централізовану реляційну базу даних PostgreSQL та надавати API для сайту-каталогу.
🧱 Архітектура
Мова та фреймворк: Python 3.10+, Django Rest Framework
Парсинг: Selenium + Undetected ChromeDriver, Requests, BeautifulSoup
Фонові задачі: Celery + Redis
Зберігання даних: PostgreSQL
Докеризація: за бажанням (Docker + docker-compose)
Логування: JSON-логи + звіти про помилки
Авторизація: за потреби (в аукціонах)
Проксі: обов’язкові
Антикапча: підтримка 2Captcha або аналога
📥 Дані, які потрібно збирати
| Поле | Опис |
|---|---|
| Марка і модель | Наприклад: "Toyota Camry" |
| Рік випуску | 2019, 2020 і т.д. |
| Пробіг | В милях або кілометрах |
| Ціна продажу | В доларах або AED |
| VIN | Унікальний ідентифікатор автомобіля |
| Стан | Битий / цілий / пошкодження |
| Локація | Країна / місто / склад |
| Топливо | Бензин / дизель / електрика тощо |
| Трансмісія | Автомат / механіка |
| Дата продажу | Уточнюється з джерела |
| Фото (5+) | Посилання на зображення |
| Посилання на лот | Пряма посилання на джерело |
📌 Вимоги до системи
Робота за розкладом (cron/Celery Beat)
Багатопоточність та масштабованість
Можливість повторного запуску (наприклад,
manage.py parse --source copart)API-ендпоінти:
/api/cars/— список/api/cars/<vin>/— карткаФільтрація: марка, модель, рік, пробіг, тип пального тощо.
Документація API (Swagger/OpenAPI)
🔧 Додаткові вимоги
Документована структура бази даних
Можливість розширення на нові аукціони
Можливість ручного запуску задач
Захист від дублікатів (VIN + дата продажу)
Сповіщення про збої (опціонально — Telegram, email)
💾 Очікуваний результат
✔ Робочий парсер
✔ Дані щоденно зберігаються у PostgreSQL
✔ API-ендпоінти з фільтрацією
✔ Документація та інструкція з запуску
-
15 днів22 179 UAH
128 15 днів22 179 UAHПривіт!
Я — Python-розробник з досвідом парсингу динамічних сайтів з Selenium, використанням проксі та антикапчі. Створював надійні рішення з PostgreSQL, Celery для фонових задач і REST API на Django Rest Framework з фільтрацією та документацією.
Готовий реалізувати парсер Emirates Auction з збереженням даних у базу, налаштувати API з фільтрами, фонові задачі та повідомлення. Також можу допомогти з докеризацією та логуванням.
Буду радий обговорити деталі та розпочати роботу.
З повагою,
… Урмат
-
30 днів22 179 UAH
733 7 0 30 днів22 179 UAHВітаю!
Ознайомився з вашим технічним завданням щодо розробки парсера для автоаукціону IAAI та побудови API на Django REST Framework. Завдання добре опрацьоване, і я готовий реалізувати його у повній відповідності з вимогами.
Що зроблю:
Парсер із використанням Selenium, Requests та BeautifulSoup для збору всіх необхідних даних з автоаукціону.
Організацію фонових задач через Celery + Redis з підтримкою розкладу (Celery Beat).
Збереження даних у PostgreSQL з урахуванням захисту від дублікатів (VIN + дата продажу).
REST API з фільтрацією за основними параметрами, документацією Swagger/OpenAPI.
… Підтримку проксі та антикапчу (2Captcha або аналог).
Можливість розширення на інші аукціони та ручний запуск задач.
Логування у форматі JSON та сповіщення про збої (Telegram/email за бажанням).
Опціональну докеризацію (Docker + docker-compose).
Технології: Python 3.10+, Django REST Framework, PostgreSQL, Celery, Redis, Selenium.
Терміни та бюджет:
Приблизно 3–4 тижні на повний цикл розробки з тестуванням. Вартість обговорюється залежно від деталей та обсягу.
Готовий обговорити деталі, надати план роботи та етапи.
-
30 днів22 179 UAH
211 30 днів22 179 UAHЗдравствуйте!
Ми дуже зацікавлені вашим проектом. Наша команда, що складається з досвідчених розробників та UI/UX дизайнерів, має багатий досвід у створенні великих та масштабованих платформ. Ми спеціалізуємося на розробці надійних, високопродуктивних та інтуїтивно зрозумілих рішень, що відповідають найсучаснішим стандартам.
Ми використовуємо передові технології:
Фронтенд: React та Next.js
Бекенд: Java, Spring Boot, Microservices
Дизайн: Наш UI/UX дизайнер гарантує естетику та зручність використання.
Інше: PostgreSQL, MongoDB, Redis, AWS/GCP/Azure, Docker, Kubernetes.
Ми успішно реалізували ряд складних проектів у фінтеху, e-commerce, SaaS, створюючи високонавантажені та масштабовані системи. Готові показати релевантні кейси при особистому спілкуванні.
Впевнені, що наш досвід і комплексний підхід допоможуть успішно реалізувати ваш проект. Будемо раді обговорити деталі та вартість!
-
40 днів22 179 UAH
182 40 днів22 179 UAHДобрий день
Зроблю парсер Emirates Auction.com і інтегрую його у структуру бази даних, яка буде підключена до фінальної версії сайту, що інтегрує між собою 3 парсери на 3 різних сайтах, а також сам сайт
Дякую
-
15 днів22 179 UAH
1015 6 0 15 днів22 179 UAHДоброго дня. Маю великий досвід в створенні парсерів, та використанні django/drf. Звертайтесь.
Актуальні фриланс-проєкти в категорії Бази даних та SQL
Pіm система
10 000 UAH
Треба зробити PIM систему. Кількість товарів — декілька мільйонів. Є декілька постачальників, які дають дані в різних форматах: csv, xml, API. Дані обмежені, часто треба знаходити характеристики товарів в інших джерелах та доповнювати. Треба зробити таблицю, де будуть… Бази даних та SQL, Веб-програмування ∙ 4 хвилини тому ∙ 4 ставки |
Інтеграція BAS швейка 8
10 000 UAH
Доброго дня, потрібно інтегрувати BAS швейка 8, підʼєднати сайт та crm sales drive, налагодити звіти та інші дані Бази даних та SQL ∙ 1 година 9 хвилин тому ∙ 4 ставки |
Створити дашборд у https://airtable.com/ по результативності рекламних креативів з facebook adsПовноцінне ТЗ https://docs.google.com/document/d/1_n_oYRNZWYxalUA---DM5AD1b5ZSrtePw5J4G42svGw/edit?usp=sharing Бази даних та SQL, Парсинг даних ∙ 19 годин 57 хвилин тому ∙ 15 ставок |
Вайбкодин через Claude Code
15 525 UAH
Розробити закриту веб-платформу для корпоративних заходів з персональними запрошеннями через унікальні посилання та QR-коди. Після сканування QR-коду користувач потрапляє на персональну сторінку запрошення з привітальним повідомленням, зверненням по імені, фото та повідомленням… AI у дизайні, Бази даних та SQL ∙ 23 години 6 хвилин тому ∙ 41 ставка |
Потрібен розробник для парсингу каталогу та автоматизації імпорту данихПодробне ТЗ в прикріпленому документі прошу в відповіді вказати орієнтовну вартість і терміни реалізації чи є досвід роботи з парсингом великих каталогів які можливі складнощі або обмеження ви бачите в даному завданні Бази даних та SQL, Парсинг даних ∙ 1 день 2 години тому ∙ 37 ставок |