Potrzebny specjalista ds. Big Data, ML, NLP, RAG

1. Cel

Stworzyć narzędzie do analizy dużych zbiorów danych tekstowych (korespondencja na stronie randkowej) w celu określenia kluczowych cech psychologicznych klientów.

2. Krótkie opisanie zadania

• Jest kilka setek dużych plików (kilkaset stron w każdym pliku, może być do dziesięciu tysięcy wiadomości na stronę), zawierających korespondencję klientów.

• Trzeba przeanalizować te dane z punktu widzenia szeregu wskaźników psychologicznych.

• Planowane jest wykorzystanie podejścia RAG (Retrieval-Augmented Generation) oraz baz danych wektorowych do efektywnego wyszukiwania i analizy.

3. Wymagania dla specjalisty

1. Big Data: zrozumienie pracy z dużymi zbiorami danych (Spark/Hadoop lub analogi).

2. NLP / ML:

   • Doświadczenie w przetwarzaniu tekstu (wstępne przetwarzanie, tokenizacja, czyszczenie) oraz stosowaniu modeli ML.

   • Znajomość nowoczesnych metod analizy tekstu (sentiment, modelowanie tematów, klasyfikacja).

3. Bazy danych wektorowych / RAG:

   • Praktyka pracy z Pinecone, Milvus, Weaviate (lub analogami) oraz modelami embeddingowymi.

   • Umiejętność zbudowania pipeline'u Retrieval-Augmented Generation (generowanie embeddingów, wyszukiwanie podobieństw, integracja LLM).

4. Dodatkowo:

   • Umiejętność dokumentowania rozwiązań, wyjaśniania wyboru narzędzi.

   • Umiejętności DevOps (Docker/Kubernetes) są mile widziane.

4. Oczekiwane zadania

1. Przygotowanie danych: odczyt, czyszczenie, strukturyzacja korespondencji.

2. Tworzenie embeddingów: konfiguracja modeli (BERT, Sentence-BERT, OpenAI Embeddings itp.).

3. Użycie bazy danych wektorowej: ładowanie embeddingów, wyszukiwanie odpowiednich fragmentów.

4. Analiza RAG: integracja z modelem językowym w celu wydobycia kluczowych cech zachowania klientów.

5. Ocena kryteriów psychologicznych: konfiguracja/tworzenie modeli, które pozwalają na wydobycie potrzebnych aspektów. (jest gotowa lista kryteriów, według których należy oceniać klientów)

5. Kluczowe umiejętności i technologie

• Język: Python (pandas, scikit-learn, PySpark, HuggingFace Transformers lub inne).

• Infrastruktura: znajomość usług chmurowych (AWS, GCP, Azure lub inne) lub lokalnych klastrów Big Data.

• Bazy danych wektorowych: Pinecone, Milvus, Weaviate lub FAISS lub inne.

• Biblioteki NLP: spaCy, NLTK, a także narzędzia do lematyzacji i czyszczenia.

• Pipeline ML: znajomość narzędzi MLOps (Airflow, MLflow, Docker lub inne).