Нужен специалист по Big Data, ML, NLP, RAG

AI и машинное обучение, Базы данных и SQL — неверно указаны категории?

1. Цель

Создать инструмент анализа больших массивов текстовых данных (переписки на сайте знакомств) с целью определения ключевых психологических характеристик клиентов.

2. Краткое описание задачи

Есть пару сотен больших файлов (несколько сотен листов в каждом файле, может быть до десяток тысяч сообщений на лист), содержащие переписку клиентов.
Нужно проанализировать эти данные с точки зрения ряда психологических показателей.
Планируется использовать подход RAG (Retrieval-Augmented Generation) и векторные базы данных для эффективного поиска и анализа.

3. Требования к специалисту

Big Data: понимание работы с большими объёмами данных (Spark/Hadoop или аналоги).
NLP / ML:
- Опыт обработки текста (предобработка, токенизация, очистка) и применения ML-моделей.
- Знание современных методов анализа текста (sentiment, topic modeling, классификация).
Vector Databases / RAG:
- Практика работы с Pinecone, Milvus, Weaviate (или аналогами) и эмбеддинговыми моделями.
- Способность построить пайплайн Retrieval-Augmented Generation (генерация эмбеддингов, поиск по схожести, интеграция LLM).
Дополнительно:
- Умение документировать решения, пояснять выбор инструментов.
- Навыки DevOps (Docker/Kubernetes) приветствуются.

4. Ожидаемые задачи

Подготовка данных: чтение, очистка, структурирование переписки.
Формирование эмбеддингов: настройка моделей (BERT, Sentence-BERT, OpenAI Embeddings и пр.).
Использование векторной БД: загрузка эмбеддингов, поиск релевантных фрагментов.
RAG-аналитика: интеграция с языковой моделью для извлечения ключевых характеристик поведения клиентов.
Оценка психологических критериев: настройка/создание моделей, позволяющих выделять нужные аспекты. (есть готовый список критериев по которым нужно будет оценивать клиентов)

5. Ключевые навыки и технологии

Язык: Python (pandas, scikit-learn, PySpark, HuggingFace Transformers или другие.).
Инфраструктура: знание облачных сервисов (AWS, GCP, Azureили другие) или локальных кластеров Big Data.
Векторные базы: Pinecone, Milvus, Weaviate или FAISS или другие.
NLP-библиотеки: spaCy, NLTK, а также инструменты для лемматизации и очистки.
ML-пайплайн: знание MLOps-инструментов (Airflow, MLflow, Docker или другие).

Ставки 3

Dariia Zelinska

42 0

Проекты 42
Оценка 4.8
Рейтинг 4 302

Бюджет: 100 USD Срок: 2 дня

Здравствуйте, есть опыт работы с Big Data, даже однажды участвовала в конкурсе Kaggle по анализу данных и получила там призовое место. С Kubernetes, различными методами машинного обучения, библиотеками Python, также знакома не понаслышке, был опыт решения практических задач. Жду сообщения в приват.

В списке не показаны ставки, скрытые заказчиком или фрилансером c профилем Plus, а также ставки, нарушающие правила

Актуальные фриланс-проекты в категории AI и машинное обучение

Проект инженерии ML (компьютерное зрение)

Обработка данных 15 ставок 4 августа

Не указан
Создание сайта

65 ставок 4 августа

1000 UAH
Разработка ПО (ROS 2 / Nav2) для автономного робота 4х4: Компьютерное зрение, асимметричная навигация

14 ставок 2 августа

Не указан
Ищу разработчика AI-бота (ChatGPT/OpenAI)

Консультирование по AI 87 ставок 1 августа

Не указан
Интеграция ИИ агента в Manychat для обработки входящих сообщений

Консультирование по AI 52 ставки 31 июля

Не указан

Aaron Kravitz
Петах Тиква, Израиль

Проектов 12
Оценка 5.0
Рейтинг 489

Dariia Zelinska

Ставки пока отсутствуют

Актуальные фриланс-проекты в категории AI и машинное обучение

Проект инженерии ML (компьютерное зрение)

Создание сайта

Разработка ПО (ROS 2 / Nav2) для автономного робота 4х4: Компьютерное зрение, асимметричная навигация

Ищу разработчика AI-бота (ChatGPT/OpenAI)

Интеграция ИИ агента в Manychat для обработки входящих сообщений