Нужен специалист по Big Data, ML, NLP, RAG

1. Цель

Создать инструмент анализа больших массивов текстовых данных (переписки на сайте знакомств) с целью определения ключевых психологических характеристик клиентов.

2. Краткое описание задачи

• Есть пару сотен больших файлов (несколько сотен листов в каждом файле, может быть до десяток тысяч сообщений на лист), содержащие переписку клиентов.

• Нужно проанализировать эти данные с точки зрения ряда психологических показателей.

• Планируется использовать подход RAG (Retrieval-Augmented Generation) и векторные базы данных для эффективного поиска и анализа.

3. Требования к специалисту

1. Big Data: понимание работы с большими объёмами данных (Spark/Hadoop или аналоги).

2. NLP / ML:

   • Опыт обработки текста (предобработка, токенизация, очистка) и применения ML-моделей.

   • Знание современных методов анализа текста (sentiment, topic modeling, классификация).

3. Vector Databases / RAG:

   • Практика работы с Pinecone, Milvus, Weaviate (или аналогами) и эмбеддинговыми моделями.

   • Способность построить пайплайн Retrieval-Augmented Generation (генерация эмбеддингов, поиск по схожести, интеграция LLM).

4. Дополнительно:

   • Умение документировать решения, пояснять выбор инструментов.

   • Навыки DevOps (Docker/Kubernetes) приветствуются.

4. Ожидаемые задачи

1. Подготовка данных: чтение, очистка, структурирование переписки.

2. Формирование эмбеддингов: настройка моделей (BERT, Sentence-BERT, OpenAI Embeddings и пр.).

3. Использование векторной БД: загрузка эмбеддингов, поиск релевантных фрагментов.

4. RAG-аналитика: интеграция с языковой моделью для извлечения ключевых характеристик поведения клиентов.

5. Оценка психологических критериев: настройка/создание моделей, позволяющих выделять нужные аспекты. (есть готовый список критериев по которым нужно будет оценивать клиентов)

5. Ключевые навыки и технологии

• Язык: Python (pandas, scikit-learn, PySpark, HuggingFace Transformers или другие.).

• Инфраструктура: знание облачных сервисов (AWS, GCP, Azureили другие) или локальных кластеров Big Data.

• Векторные базы: Pinecone, Milvus, Weaviate или FAISS или другие.

• NLP-библиотеки: spaCy, NLTK, а также инструменты для лемматизации и очистки.

• ML-пайплайн: знание MLOps-инструментов (Airflow, MLflow, Docker или другие).