ЧАСТИНА 2 — ПАРСЕР IAAI + БАЗА ДАНИХ (Backend-інфраструктура)
🎯 Мета
Розробити автоматизовану систему парсингу з автоаукціону IAAI, яка буде зберігати дані у централізовану реляційну базу даних PostgreSQL та надавати API для сайту-каталогу.
🧱 Архітектура
Мова та фреймворк: Python 3.10+, Django Rest Framework
Парсинг: Selenium + Undetected ChromeDriver, Requests, BeautifulSoup
Фонові задачі: Celery + Redis
Зберігання даних: PostgreSQL
Докеризація: за бажанням (Docker + docker-compose)
Логування: JSON-логи + звіти про помилки
Авторизація: за потреби (на аукціонах)
Проксі: обов’язкові
Антикапча: підтримка 2Captcha або аналога
📥 Дані, які потрібно збирати
| Поле | Опис |
|---|---|
| Марка і модель | Наприклад: "Toyota Camry" |
| Рік випуску | 2019, 2020 і т.д. |
| Пробіг | В милях або кілометрах |
| Ціна продажу | В доларах або AED |
| VIN | Унікальний ідентифікатор автомобіля |
| Стан | Битий / цілий / пошкодження |
| Локація | Країна / місто / склад |
| Топливо | Бензин / дизель / електрика і т.д. |
| Трансмісія | Автомат / механіка |
| Дата продажу | Уточнюється з джерела |
| Фото (5+) | Посилання на зображення |
| Посилання на лот | Пряма посилання на джерело |
📌 Вимоги до системи
Робота за розкладом (cron/Celery Beat)
Багатопоточність та масштабованість
Можливість повторного запуску (наприклад,
manage.py parse --source copart)API-ендпоінти:
/api/cars/— список/api/cars/<vin>/— карткаФільтрація: марка, модель, рік, пробіг, тип пального тощо.
Документація API (Swagger/OpenAPI)
🔧 Додаткові вимоги
Документована структура бази даних
Можливість розширення на нові аукціони
Можливість ручного запуску задач
Захист від дублікатів (VIN + дата продажу)
Сповіщення про збої (опціонально — Telegram, email)
💾 Очікуваний результат
✔ Робочий парсер
✔ Дані щоденно зберігаються у PostgreSQL
✔ API-ендпоінти з фільтрацією
✔ Документація та інструкція щодо запуску
-
30 днів22 179 UAH
733 7 0 30 днів22 179 UAHВітаю!
Ознайомився з вашим технічним завданням щодо розробки парсера для автоаукціону IAAI та побудови API на Django REST Framework. Завдання добре опрацьоване, і я готовий реалізувати його у повній відповідності з вимогами.
Що зроблю:
Парсер із використанням Selenium, Requests та BeautifulSoup для збору всіх необхідних даних з автоаукціону.
Організацію фонових задач через Celery + Redis з підтримкою розкладу (Celery Beat).
Збереження даних у PostgreSQL з урахуванням захисту від дублікатів (VIN + дата продажу).
REST API з фільтрацією за основними параметрами, документацією Swagger/OpenAPI.
… Підтримку проксі та антикапчу (2Captcha або аналог).
Можливість розширення на інші аукціони та ручний запуск задач.
Логування у форматі JSON та сповіщення про збої (Telegram/email за бажанням).
Опціональну докеризацію (Docker + docker-compose).
Технології: Python 3.10+, Django REST Framework, PostgreSQL, Celery, Redis, Selenium.
Терміни та бюджет:
Приблизно 3–4 тижні на повний цикл розробки з тестуванням. Вартість обговорюється залежно від деталей та обсягу.
Готовий обговорити деталі, надати план роботи та етапи.
-
30 днів22 135 UAH
211 30 днів22 135 UAHЗдравствуйте!
Ми дуже зацікавлені вашим проектом. Наша команда, що складається з досвідчених розробників та UI/UX дизайнерів, має багатий досвід у створенні великих та масштабованих платформ. Ми спеціалізуємося на розробці надійних, високопродуктивних та інтуїтивно зрозумілих рішень, що відповідають найсучаснішим стандартам.
Ми використовуємо передові технології:
Фронтенд: React та Next.js
Бекенд: Java, Spring Boot, Microservices
Дизайн: Наш UI/UX дизайнер гарантує естетику та зручність використання.
Інше: PostgreSQL, MongoDB, Redis, AWS/GCP/Azure, Docker, Kubernetes.
Ми успішно реалізували ряд складних проектів у фінтеху, e-commerce, SaaS, створюючи високонавантажені та масштабовані системи. Готові показати релевантні кейси при особистому спілкуванні.
Впевнені, що наш досвід і комплексний підхід допоможуть успішно реалізувати ваш проект. Будемо раді обговорити деталі та вартість!
-
1 день22 179 UAH
2225 32 0 1 день22 179 UAHДобрий день. Маю уже всі готові рішення для копарт та іааі .
Маю базу даних на мільйони машин .
Збирає дані з Лайф аукціонів та також по ін фільтрах .
Ціна 2000 Дол США за один сайт
-
40 днів22 179 UAH
182 40 днів22 179 UAHДобрий день
Зроблю парсер IAAI і інтегрую його у середу структури бази даних, яка буде підключена до фінальної версії сайту, що інтегрує між собою 3 парсери на 3 різних сайтах, а також сам сайт
Дякую
-
13 днів22 179 UAH
290 1 0 13 днів22 179 UAHПривіт! Я представляю компанію SolidWay і готовий допомогти з розробкою вашої автоматизованої системи парсингу даних з автоаукціону IAAI. У нас є великий досвід роботи з подібними проектами, включаючи використання Python і Django Rest Framework, а також інтеграцію з PostgreSQL для зберігання даних.
Ми знайомі з необхідними технологіями, такими як Selenium, Celery і Redis, і можемо ефективно реалізувати багатопоточність і масштабованість, що забезпечить надійну роботу системи. Наша команда також опанувала методи захисту даних і їх документування, що дозволить надати вам повну документацію по API і структурі бази даних.
Ми обговоримо деталі проекту, щоб точно визначити, як найкраще його реалізувати. Час і вартість будуть визначені після більш глибокого обговорення ваших вимог. Чекаємо вашої відповіді!
-
15 днів22 179 UAH
1015 6 0 15 днів22 179 UAHДоброго дня. Маю великий досвід в створенні парсерів, та використанні django/drf. Звертайтесь.
Актуальні фриланс-проєкти в категорії Бази даних та SQL
Вирішити проблему навантаження на хостинг сайта на ПресташопСайт з кожним місяцем потребує більше і більше ресурсів. Відповідь хостера:Під час перевірки сервера було зафіксовано підвищене навантаження з боку сервера баз даних MySQL. У моменти виникнення помилки 500 процес MySQL використовує значну частину ресурсів процесора, що може… PHP, Бази даних та SQL ∙ 1 година 5 хвилин тому ∙ 9 ставок |
Налаштування системи резервного копіювання та оптимізація серверної інфраструктуриМета робіт:Забезпечити надійне збереження даних CRM-системи та додатку шляхом впровадження автоматизованої системи резервного копіювання (Backups), а також провести ряд серверних доробок для підвищення стабільності, безпеки та продуктивності інфраструктури. DevOps, Бази даних та SQL ∙ 2 години 35 хвилин тому ∙ 12 ставок |
Pіm система
10 000 UAH
Треба зробити PIM систему. Кількість товарів — декілька мільйонів. Є декілька постачальників, які дають дані в різних форматах: csv, xml, API. Дані обмежені, часто треба знаходити характеристики товарів в інших джерелах та доповнювати. Треба зробити таблицю, де будуть… Бази даних та SQL, Веб-програмування ∙ 4 години 33 хвилини тому ∙ 30 ставок |
Інтеграція BAS швейка 8
10 000 UAH
Доброго дня, потрібно інтегрувати BAS швейка 8, підʼєднати сайт та crm sales drive, налагодити звіти та інші дані Бази даних та SQL ∙ 5 годин 38 хвилин тому ∙ 7 ставок |
Створити дашборд у https://airtable.com/ по результативності рекламних креативів з facebook adsПовноцінне ТЗ https://docs.google.com/document/d/1_n_oYRNZWYxalUA---DM5AD1b5ZSrtePw5J4G42svGw/edit?usp=sharing Бази даних та SQL, Парсинг даних ∙ 1 день тому ∙ 16 ставок |