Вирішити проблему з парсингом лотів з Copart та їх відображенням у каталозі після індексації в El..
12 345 UAH1. Опис завдання:
• Необхідно виправити проблему, коли лоти з аукціону Copart парсяться через CSV, але не відображаються в каталозі до того, як будуть проіндексовані в Elasticsearch.
2. Цілі:
• Забезпечити коректний парсинг лотів з Copart через CSV.
• Автоматично індексувати лоти в Elasticsearch та відображати їх у каталозі без затримок.
• Забезпечити збереження всіх даних і зображень у базі даних та їх коректну індексацію.
3. Етапи роботи:
3.1. Аналіз поточного процесу парсингу:
• Вивчити поточний процес парсингу лотів з Copart (інструмент або скрипт, який використовується).
• Оцінити формат даних (CSV), що використовується для парсингу, та процес перетворення цих даних у Parquet.
• Визначити, як передаються дані з Parquet у базу даних (Postgres/MSSQL).
3.2. Аналіз обробки та індексації даних:
• Переглянути процес індексації даних у Elasticsearch.
• Перевірити конфігурацію Elasticsearch (індекси, типи даних, шардінг).
• Проаналізувати логи індексації для виявлення причин затримки або тайм-ауту.
3.3. Виправлення проблеми з парсингом та індексацією:
• Виправити процес обробки CSV, щоб дані коректно індексувалися в Elasticsearch.
• Забезпечити правильне передавання та обробку зображень (особливо HD-версії) у базі даних і під час індексації.
• Налаштувати контроль за індексацією та перевірити, чи лоти коректно з’являються в каталозі після обробки.
3.4. Виправлення проблем із зависанням файлів Copart:
• Вивчити проблему тайм-ауту при завантаженні файлів з Copart.
• Визначити, чому процес завантаження зависає і вирішити це (можливо, через зміни на стороні Copart або проблеми із з’єднанням).
• Перевірити та налаштувати логування процесу, щоб уникнути таких проблем у майбутньому.
4. Технічні вимоги:
• Володіння базовими знаннями щодо роботи з базами даних (Postgres, MSSQL) та індексації в Elasticsearch.
• Розуміння принципів парсингу даних та роботи з форматами CSV та Parquet.
• Доступ до логів процесів парсингу, індексації та бази даних.
5. Критерії виконання:
• Лоти з аукціону Copart повинні парситися без затримок і одразу відображатися в каталозі після індексації в Elasticsearch.
• Усі зображення лотів повинні коректно зберігатися у базі даних і бути доступними у високій якості (HD).
• Тайм-аут під час завантаження файлів з Copart має бути усунений.
-
14 днів13 333 UAH
1094 10 0 14 днів13 333 UAH
Добрий вечір!
Маю API однієї команди, дуже допомагають швидко парсити Copart/Iaai.
Приклад є у портфоліо.
Пишіть, обговоримо деталі, та почнемо!
З Повагою, Андрій!
-
2 дні20 000 UAH
8753 60 0 1 2 дні20 000 UAH
Вітаю!
Маємо досвід в парсингу та інтеграції з Elasticsearch. Швидко виправимо проблеми з індексацією, оптимізуємо процеси та забезпечимо стабільну роботу.
Наша ставка 20$ в годину
Пишу на Python. Займаю 3-е місце на платформі по цій мові.
Портфоліо:
Freelancehunt
-
Valeriu Y. companyпарсинг через cvs думаю не очень хорошая идея, там много данных отсуствуют, рекомендую лучше использовать готовые решения, что-то типо carstat.dev
насчет postgresql, думаю данные можно писать сразу в БД и elasticsearch, без использования parquet
объем данных не такой велик чтоб использовать parquet -
Актуальні фриланс-проєкти в категорії Python
AI Коментуюча Платформа для TikTok та Instagram.Мета проекту Розробити систему, яка дозволяє керувати великою кількістю акаунтів TikTok та Instagram і автоматично публікувати релевантні коментарі під вибраними відео з використанням ШІ. Основний функціонал1. Управління акаунтами Необхідно реалізувати можливість підключення… AI та машинне навчання, Python ∙ 3 години 5 хвилин тому ∙ 8 ставок |
Побудувути модель калсифікації клієнтів1. Є дані клієнтів в Mongo/SQL (приблизно 20 000 заисів із сирими даними). 2. Необхідно на їх основі побудувати фічі та модель класифікації клієнтв на поведінкові групи. 3. Проект виконати на Python. AI та машинне навчання, Python ∙ 1 день 21 година тому ∙ 32 ставки |
ІТ Автоматизація ведення VAT- звітності
10 000 UAH
Необхідно розробити систему для автоматизації перенесення даних про продажі з CRM у бухгалтерську систему Wafeq. Система має імпортувати банківські та платіжні звіти, автоматично звіряти платежі з інвойсами, формувати інвойси для VAT-звітності та мінімізувати ручну роботу.… AI та машинне навчання, Python ∙ 2 дні 2 години тому ∙ 43 ставки |
Інструмент звірки рахунків з банком, картами та бухгалтеромТехнічне завдання: інструмент звірки рахунків з банком, картами та бухгалтеромЗагальна метаПотрібен локальний інструмент (скрипт/невеликий додаток на Python), який запускається вручну раз на 1-2 місяці на моєму комп'ютері і робить звірку між:Рахунками, які я виставив клієнтам і… Python, Десктопні додатки ∙ 2 дні 14 годин тому ∙ 42 ставки |
Автоматичне публікування відео в соціальні мережі за розкладомТехнічне завдання (ТЗ)Автоматична публікація відео в соціальні мережі за розкладомОпис проектуПотрібен скрипт/бот (Python бажано, або будь-яке інше рішення на ваш вибір — головне стабільність і простота підтримки), який автоматично публікує відео з папки в соціальні мережі та… Python, Розробка ботів ∙ 3 дні 3 години тому ∙ 59 ставок |
Київ