Вирішити проблему з парсингом лотів з Copart та їх відображенням у каталозі після індексації в El..

1.    Опис завдання:

    •    Необхідно виправити проблему, коли лоти з аукціону Copart парсяться через CSV, але не відображаються в каталозі до того, як будуть проіндексовані в Elasticsearch.

    2.    Цілі:

    •    Забезпечити коректний парсинг лотів з Copart через CSV.

    •    Автоматично індексувати лоти в Elasticsearch та відображати їх у каталозі без затримок.

    •    Забезпечити збереження всіх даних і зображень у базі даних та їх коректну індексацію.

    3.    Етапи роботи:

3.1. Аналіз поточного процесу парсингу:

    •    Вивчити поточний процес парсингу лотів з Copart (інструмент або скрипт, який використовується).

    •    Оцінити формат даних (CSV), що використовується для парсингу, та процес перетворення цих даних у Parquet.

    •    Визначити, як передаються дані з Parquet у базу даних (Postgres/MSSQL).

3.2. Аналіз обробки та індексації даних:

    •    Переглянути процес індексації даних у Elasticsearch.

    •    Перевірити конфігурацію Elasticsearch (індекси, типи даних, шардінг).

    •    Проаналізувати логи індексації для виявлення причин затримки або тайм-ауту.

3.3. Виправлення проблеми з парсингом та індексацією:

    •    Виправити процес обробки CSV, щоб дані коректно індексувалися в Elasticsearch.

    •    Забезпечити правильне передавання та обробку зображень (особливо HD-версії) у базі даних і під час індексації.

    •    Налаштувати контроль за індексацією та перевірити, чи лоти коректно з’являються в каталозі після обробки.

3.4. Виправлення проблем із зависанням файлів Copart:

    •    Вивчити проблему тайм-ауту при завантаженні файлів з Copart.

    •    Визначити, чому процес завантаження зависає і вирішити це (можливо, через зміни на стороні Copart або проблеми із з’єднанням).

    •    Перевірити та налаштувати логування процесу, щоб уникнути таких проблем у майбутньому.

    4.    Технічні вимоги:

    •    Володіння базовими знаннями щодо роботи з базами даних (Postgres, MSSQL) та індексації в Elasticsearch.

    •    Розуміння принципів парсингу даних та роботи з форматами CSV та Parquet.

    •    Доступ до логів процесів парсингу, індексації та бази даних.

    5.    Критерії виконання:

    •    Лоти з аукціону Copart повинні парситися без затримок і одразу відображатися в каталозі після індексації в Elasticsearch.

    •    Усі зображення лотів повинні коректно зберігатися у базі даних і бути доступними у високій якості (HD).

    •    Тайм-аут під час завантаження файлів з Copart має бути усунений.