Нужен специалист по Big Data, ML, NLP, RAG

AI и машинное обучение, Базы данных и SQL — неверно указаны категории?

1. Цель

Создать инструмент анализа больших массивов текстовых данных (переписки на сайте знакомств) с целью определения ключевых психологических характеристик клиентов.

2. Краткое описание задачи

Есть пару сотен больших файлов (несколько сотен листов в каждом файле, может быть до десяток тысяч сообщений на лист), содержащие переписку клиентов.
Нужно проанализировать эти данные с точки зрения ряда психологических показателей.
Планируется использовать подход RAG (Retrieval-Augmented Generation) и векторные базы данных для эффективного поиска и анализа.

3. Требования к специалисту

Big Data: понимание работы с большими объёмами данных (Spark/Hadoop или аналоги).
NLP / ML:
- Опыт обработки текста (предобработка, токенизация, очистка) и применения ML-моделей.
- Знание современных методов анализа текста (sentiment, topic modeling, классификация).
Vector Databases / RAG:
- Практика работы с Pinecone, Milvus, Weaviate (или аналогами) и эмбеддинговыми моделями.
- Способность построить пайплайн Retrieval-Augmented Generation (генерация эмбеддингов, поиск по схожести, интеграция LLM).
Дополнительно:
- Умение документировать решения, пояснять выбор инструментов.
- Навыки DevOps (Docker/Kubernetes) приветствуются.

4. Ожидаемые задачи

Подготовка данных: чтение, очистка, структурирование переписки.
Формирование эмбеддингов: настройка моделей (BERT, Sentence-BERT, OpenAI Embeddings и пр.).
Использование векторной БД: загрузка эмбеддингов, поиск релевантных фрагментов.
RAG-аналитика: интеграция с языковой моделью для извлечения ключевых характеристик поведения клиентов.
Оценка психологических критериев: настройка/создание моделей, позволяющих выделять нужные аспекты. (есть готовый список критериев по которым нужно будет оценивать клиентов)

5. Ключевые навыки и технологии

Язык: Python (pandas, scikit-learn, PySpark, HuggingFace Transformers или другие.).
Инфраструктура: знание облачных сервисов (AWS, GCP, Azureили другие) или локальных кластеров Big Data.
Векторные базы: Pinecone, Milvus, Weaviate или FAISS или другие.
NLP-библиотеки: spaCy, NLTK, а также инструменты для лемматизации и очистки.
ML-пайплайн: знание MLOps-инструментов (Airflow, MLflow, Docker или другие).

Ставки 3

Dariia Zelinska

43 0

Проекты 43
Оценка 4.8
Рейтинг 4 618

Бюджет: 100 USD Срок: 2 дня

Здравствуйте, есть опыт работы с Big Data, даже однажды участвовала в конкурсе Kaggle по анализу данных и получила там призовое место. С Kubernetes, различными методами машинного обучения, библиотеками Python, также знакома не понаслышке, был опыт решения практических задач. Жду сообщения в приват.

В списке не показаны ставки, скрытые заказчиком или фрилансером c профилем Plus, а также ставки, нарушающие правила

Актуальные фриланс-проекты в категории AI и машинное обучение

Консультант-практик по Claude Code, почасово, парные сессии

Веб-программирование 8 ставок 14:52

1500 UAH
AI ассистент для телеграм-бота

Python 56 ставок 13:05

25 000 UAH
Проект инженерии ML (компьютерное зрение)

Обработка данных 17 ставок 4 августа

Не указан
Создание сайта

70 ставок 4 августа

1000 UAH
Разработка ПО (ROS 2 / Nav2) для автономного робота 4х4: Компьютерное зрение, асимметричная навигация

14 ставок 2 августа

Не указан

Aaron Kravitz
Петах Тиква, Израиль

Проектов 12
Оценка 5.0
Рейтинг 489

Dariia Zelinska

Ставки пока отсутствуют

Актуальные фриланс-проекты в категории AI и машинное обучение

Консультант-практик по Claude Code, почасово, парные сессии

AI ассистент для телеграм-бота

Проект инженерии ML (компьютерное зрение)

Создание сайта

Разработка ПО (ROS 2 / Nav2) для автономного робота 4х4: Компьютерное зрение, асимметричная навигация