Потрібен спеціаліст з Big Data, ML, NLP, RAG

1. Мета

Створити інструмент аналізу великих масивів текстових даних (переписки на сайті знайомств) з метою визначення ключових психологічних характеристик клієнтів.

2. Короткий опис завдання

• Є кілька сотень великих файлів (кілька сотень аркушів у кожному файлі, може бути до десятків тисяч повідомлень на аркуші), що містять переписку клієнтів.

• Потрібно проаналізувати ці дані з точки зору ряду психологічних показників.

• Планується використовувати підхід RAG (Retrieval-Augmented Generation) та векторні бази даних для ефективного пошуку та аналізу.

3. Вимоги до спеціаліста

1. Big Data: розуміння роботи з великими обсягами даних (Spark/Hadoop або аналоги).

2. NLP / ML:

   • Досвід обробки тексту (попередня обробка, токенізація, очищення) та застосування ML-моделей.

   • Знання сучасних методів аналізу тексту (sentiment, topic modeling, класифікація).

3. Vector Databases / RAG:

   • Практика роботи з Pinecone, Milvus, Weaviate (або аналогами) та ембеддинговими моделями.

   • Здатність побудувати пайплайн Retrieval-Augmented Generation (генерація ембеддингов, пошук за схожістю, інтеграція LLM).

4. Додатково:

   • Вміння документувати рішення, пояснювати вибір інструментів.

   • Навички DevOps (Docker/Kubernetes) вітаються.

4. Очікувані завдання

1. Підготовка даних: читання, очищення, структуризація переписки.

2. Формування ембеддингов: налаштування моделей (BERT, Sentence-BERT, OpenAI Embeddings тощо).

3. Використання векторної БД: завантаження ембеддингов, пошук релевантних фрагментів.

4. RAG-аналіз: інтеграція з мовною моделлю для витягування ключових характеристик поведінки клієнтів.

5. Оцінка психологічних критеріїв: налаштування/створення моделей, що дозволяють виділяти потрібні аспекти. (є готовий список критеріїв, за якими потрібно буде оцінювати клієнтів)

5. Ключові навички та технології

• Мова: Python (pandas, scikit-learn, PySpark, HuggingFace Transformers або інші).

• Інфраструктура: знання хмарних сервісів (AWS, GCP, Azure або інші) або локальних кластерів Big Data.

• Векторні бази: Pinecone, Milvus, Weaviate або FAISS або інші.

• NLP-бібліотеки: spaCy, NLTK, а також інструменти для лемматизації та очищення.

• ML-пайплайн: знання MLOps-інструментів (Airflow, MLflow, Docker або інші).