Решить проблему с парсингом лотов с Copart и их отображением в каталоге после индексации в El..

1.    Описание задания:

    •    Необходимо исправить проблему, когда лоты с аукциона Copart парсятся через CSV, но не отображаются в каталоге до того, как будут проиндексированы в Elasticsearch.

    2.    Цели:

    •    Обеспечить корректный парсинг лотов с Copart через CSV.

    •    Автоматически индексировать лоты в Elasticsearch и отображать их в каталоге без задержек.

    •    Обеспечить сохранение всех данных и изображений в базе данных и их корректную индексацию.

    3.    Этапы работы:

3.1. Анализ текущего процесса парсинга:

    •    Изучить текущий процесс парсинга лотов с Copart (инструмент или скрипт, который используется).

    •    Оценить формат данных (CSV), который используется для парсинга, и процесс преобразования этих данных в Parquet.

    •    Определить, как передаются данные из Parquet в базу данных (Postgres/MSSQL).

3.2. Анализ обработки и индексации данных:

    •    Просмотреть процесс индексации данных в Elasticsearch.

    •    Проверить конфигурацию Elasticsearch (индексы, типы данных, шардирование).

    •    Проанализировать логи индексации для выявления причин задержки или тайм-аута.

3.3. Исправление проблемы с парсингом и индексацией:

    •    Исправить процесс обработки CSV, чтобы данные корректно индексировались в Elasticsearch.

    •    Обеспечить правильную передачу и обработку изображений (особенно HD-версии) в базе данных и во время индексации.

    •    Настроить контроль за индексацией и проверить, корректно ли лоты появляются в каталоге после обработки.

3.4. Исправление проблем с зависанием файлов Copart:

    •    Изучить проблему тайм-аута при загрузке файлов с Copart.

    •    Определить, почему процесс загрузки зависает и решить это (возможно, из-за изменений на стороне Copart или проблем с соединением).

    •    Проверить и настроить логирование процесса, чтобы избежать таких проблем в будущем.

    4.    Технические требования:

    •    Владение базовыми знаниями по работе с базами данных (Postgres, MSSQL) и индексации в Elasticsearch.

    •    Понимание принципов парсинга данных и работы с форматами CSV и Parquet.

    •    Доступ к логам процессов парсинга, индексации и базы данных.

    5.    Критерии выполнения:

    •    Лоты с аукциона Copart должны парситься без задержек и сразу отображаться в каталоге после индексации в Elasticsearch.

    •    Все изображения лотов должны корректно сохраняться в базе данных и быть доступными в высоком качестве (HD).

    •    Тайм-аут при загрузке файлов с Copart должен быть устранен.