Rozwiązać problem z parsowaniem lotów z Copart i ich wyświetlaniem w katalogu po indeksacji w El..

1.    Opis zadania:

    •    Należy naprawić problem, gdy licytacje z aukcji Copart są parsowane przez CSV, ale nie wyświetlają się w katalogu, zanim zostaną zaindeksowane w Elasticsearch.

    2.    Cele:

    •    Zapewnić poprawne parsowanie licytacji z Copart przez CSV.

    •    Automatycznie indeksować licytacje w Elasticsearch i wyświetlać je w katalogu bez opóźnień.

    •    Zapewnić zachowanie wszystkich danych i obrazów w bazie danych oraz ich poprawną indeksację.

    3.    Etapy pracy:

3.1. Analiza obecnego procesu parsowania:

    •    Zbadać obecny proces parsowania licytacji z Copart (narzędzie lub skrypt, które są używane).

    •    Ocenić format danych (CSV), który jest używany do parsowania, oraz proces konwersji tych danych do Parquet.

    •    Określić, jak dane są przesyłane z Parquet do bazy danych (Postgres/MSSQL).

3.2. Analiza przetwarzania i indeksacji danych:

    •    Przejrzeć proces indeksacji danych w Elasticsearch.

    •    Sprawdzić konfigurację Elasticsearch (indeksy, typy danych, shardowanie).

    •    Przeanalizować logi indeksacji w celu wykrycia przyczyn opóźnień lub timeoutów.

3.3. Naprawa problemu z parsowaniem i indeksacją:

    •    Naprawić proces przetwarzania CSV, aby dane były poprawnie indeksowane w Elasticsearch.

    •    Zapewnić prawidłowe przesyłanie i przetwarzanie obrazów (szczególnie wersji HD) w bazie danych i podczas indeksacji.

    •    Skonfigurować kontrolę indeksacji i sprawdzić, czy licytacje poprawnie pojawiają się w katalogu po przetworzeniu.

3.4. Naprawa problemów z zawieszaniem plików Copart:

    •    Zbadać problem timeoutu podczas ładowania plików z Copart.

    •    Określić, dlaczego proces ładowania się zawiesza i rozwiązać to (możliwe, że przez zmiany po stronie Copart lub problemy z połączeniem).

    •    Sprawdzić i skonfigurować logowanie procesu, aby uniknąć takich problemów w przyszłości.

    4.    Wymagania techniczne:

    •    Posiadanie podstawowej wiedzy na temat pracy z bazami danych (Postgres, MSSQL) oraz indeksacji w Elasticsearch.

    •    Zrozumienie zasad parsowania danych oraz pracy z formatami CSV i Parquet.

    •    Dostęp do logów procesów parsowania, indeksacji i bazy danych.

    5.    Kryteria wykonania:

    •    Licytacje z aukcji Copart powinny być parsowane bez opóźnień i natychmiast wyświetlane w katalogu po indeksacji w Elasticsearch.

    •    Wszystkie obrazy licytacji powinny być poprawnie przechowywane w bazie danych i dostępne w wysokiej jakości (HD).

    •    Timeout podczas ładowania plików z Copart powinien być usunięty.