1. Opis zadania:
• Należy naprawić problem, gdy licytacje z aukcji Copart są parsowane przez CSV, ale nie wyświetlają się w katalogu, zanim zostaną zaindeksowane w Elasticsearch.
2. Cele:
• Zapewnić poprawne parsowanie licytacji z Copart przez CSV.
• Automatycznie indeksować licytacje w Elasticsearch i wyświetlać je w katalogu bez opóźnień.
• Zapewnić zachowanie wszystkich danych i obrazów w bazie danych oraz ich poprawną indeksację.
3. Etapy pracy:
3.1. Analiza obecnego procesu parsowania:
• Zbadać obecny proces parsowania licytacji z Copart (narzędzie lub skrypt, które są używane).
• Ocenić format danych (CSV), który jest używany do parsowania, oraz proces konwersji tych danych do Parquet.
• Określić, jak dane są przesyłane z Parquet do bazy danych (Postgres/MSSQL).
3.2. Analiza przetwarzania i indeksacji danych:
• Przejrzeć proces indeksacji danych w Elasticsearch.
• Sprawdzić konfigurację Elasticsearch (indeksy, typy danych, shardowanie).
• Przeanalizować logi indeksacji w celu wykrycia przyczyn opóźnień lub timeoutów.
3.3. Naprawa problemu z parsowaniem i indeksacją:
• Naprawić proces przetwarzania CSV, aby dane były poprawnie indeksowane w Elasticsearch.
• Zapewnić prawidłowe przesyłanie i przetwarzanie obrazów (szczególnie wersji HD) w bazie danych i podczas indeksacji.
• Skonfigurować kontrolę indeksacji i sprawdzić, czy licytacje poprawnie pojawiają się w katalogu po przetworzeniu.
3.4. Naprawa problemów z zawieszaniem plików Copart:
• Zbadać problem timeoutu podczas ładowania plików z Copart.
• Określić, dlaczego proces ładowania się zawiesza i rozwiązać to (możliwe, że przez zmiany po stronie Copart lub problemy z połączeniem).
• Sprawdzić i skonfigurować logowanie procesu, aby uniknąć takich problemów w przyszłości.
4. Wymagania techniczne:
• Posiadanie podstawowej wiedzy na temat pracy z bazami danych (Postgres, MSSQL) oraz indeksacji w Elasticsearch.
• Zrozumienie zasad parsowania danych oraz pracy z formatami CSV i Parquet.
• Dostęp do logów procesów parsowania, indeksacji i bazy danych.
5. Kryteria wykonania:
• Licytacje z aukcji Copart powinny być parsowane bez opóźnień i natychmiast wyświetlane w katalogu po indeksacji w Elasticsearch.
• Wszystkie obrazy licytacji powinny być poprawnie przechowywane w bazie danych i dostępne w wysokiej jakości (HD).
• Timeout podczas ładowania plików z Copart powinien być usunięty.
Freelancehunt
