Data Engineer - автомобільна аналітика (збір та зберігання даних)
Потрібен Data Engineer з досвідом web scraping та роботи з великими обсягами даних для проекту аналізу ринку б/в авто.
Розробляємо сервіс аналізу цін на автомобілі - потрібна надійна система збору даних з платформ для продажу б/в авто для подальшої аналітики та візуалізації.
Що потрібно зробити?
- Web scraper - збір оголошень з найбільших платформ з обходом блокувань
- База даних - архітектура для зберігання мільйонів записів з оптимізацією під аналітичні запити
- API/інтерфейс - доступ до даних для Backend розробника
- Автоматизація - щоденний збір, моніторинг, обробка помилок
- Історичні дані - збереження динаміки цін для трендового аналізу
Особливості проекту
- Великі обсяги - очікуємо 3K+ нових оголошень щодня, мільйони записів в БД
- Оптимізація витрат - потрібні рішення для економії на інфраструктурі (партиціонування, архівування, compression)
- Високий performance - аналітичні запити мають виконуватись швидко на великих датасетах
- Довгострокова підтримка - це не разовий збір, система має працювати постійно
Бізнес-вимоги, схема взаємодії з Backend розробником та технічні нюанси - https://docs.google.com/document/d/1utRzA8TntpXpO-RSgR2lYKoIFrggE6PPFKi71P9qKxc/edit?usp=sharing
Відгукуючись, вкажіть:
- Досвід з подібними проектами (обсяги даних, scraping, оптимізація БД)
- Запропонований технологічний стек
- Орієнтовний бюджет та терміни
- Приклади попередніх робіт (якщо є)
-
1 день27 000 UAH
1 день27 000 UAH
Доброго дня
Можу на себе взяти роль Data Engineer і Backend Developer
Маю дуже великий досвід парсингу таких сайтів з автомобілями як Copart, IAAI, AUTO.RIA. Також успішно здійснюю парсинг сайтів автомобільних запчастин на кожному з яких більше 100к товарів.
Свої парссери комбіную з адмінкою під Django але можу писати backend і на FastAPI якщо у Вас є фронтендер.
Для оцінки потрібно детальніше обговорити ТЗ.
В середньому такі проекти оцінюються в 1000-3000 $ в залежності від деталей ТЗ.
-
1 день27 000 UAH
564 2 0 1 день27 000 UAH
Добрий день!
Готовий взяти участь як в одній, так і в обох ролях одразу. Маю чотири роки досвіду у розробці високонавантаженого бекенду та автоматизації на Golang, з яких понад 2,5 роки — саме в автомобільній сфері. Працював з великими обсягами даних: збирали, обробляли та агрегували їх на різних етапах.
Буду радий обговорити деталі — можете написати мені у приватні повідомлення. За потреби можемо організувати дзвінок у зручному для вас форматі.
-
7 днів27 000 UAH
1621 35 1 6 7 днів27 000 UAH
Добрий день. У мене є таке готове та працююче рішення, воно збирає та аналізує дані з Auto. ria та Olx.
У разі зацікавленності я можу показати демо (запис екрану). Вартість $5000, можливе внесення змін та доопрацювань (за окрему оплату).
-
7 днів15 000 UAH
720 6 1 7 днів15 000 UAH
Вітаю,
Подробиці описав в особистому повідомленні.
Чекаю на вашу відповідь.
Актуальні фриланс-проєкти в категорії Парсинг даних
Требуется спеціаліст з просування в Telegram.
1286 UAH
Завдання: інвайт реальних користувачів за базою юзернеймів у нові чати та розсилка повідомлень по цільовій базі. Цікавить тільки якісний трафік і робота з живою аудиторією — виконавців, які використовують ботів, накрутку або неякісні методи, прохання НЕ БЕСПОКІТЬ. Робота… Парсинг даних, Просування у соціальних мережах (SMM) ∙ 1 день 3 години тому ∙ 6 ставок |
Збір B2B бази даних компаній у Німеччині
1801 UAH
Мета: Отримання списку потенційних роботодавців (клієнтів) для B2B розсилки. Регіон: Мюнхен (München) + радіус 50 км. Вимагані ніші: Будівельні компанії (Bauunternehmen) Продовольчі підприємства (Lebensmittelhersteller, м'ясокомбінати, пекарні) Логістика та складські… Парсинг даних, Продажі та генерація лідів ∙ 1 день 5 годин тому ∙ 26 ставок |
База даних перевізниківЦікавить збір бази даних перевізників по Україні за 2026 рік, у тому числі цистерни, тенти, зерновози та інші. Бажано розробити таблицю. Збір інформації, Парсинг даних ∙ 1 день 6 годин тому ∙ 29 ставок |
Консультація по парсингу підписників Instagram-акаунтівДоброго дня. Необхідно провести попередню оцінку можливості виконання наступного завдання. У мене є список Instagram-акаунтів. Мета — отримати контактні дані (в першу чергу email-адреси) користувачів, які підписані на ці акаунти. Раніше мені зустрічалися компанії та сервіси, які… Парсинг даних ∙ 4 дні 22 години тому ∙ 12 ставок |
Потрібен спеціаліст для пошуку контактів ЛПР по УкраїніНеобхідно зібрати базу (чи готова база) контактів осіб, які приймають рішення (ЛПР), у компаніях України. Збір інформації, Парсинг даних ∙ 5 днів 2 години тому ∙ 18 ставок |
Київ