Потрібен спеціаліст з Big Data, ML, NLP, RAG

AI та машинне навчання, Бази даних та SQL — неправильно зазначені категорії?

Проєкт перекладено автоматично. Увійдіть або зареєструйтесь, щоб побачити оригінал

1. Мета

Створити інструмент аналізу великих масивів текстових даних (переписки на сайті знайомств) з метою визначення ключових психологічних характеристик клієнтів.

2. Короткий опис завдання

Є кілька сотень великих файлів (кілька сотень аркушів у кожному файлі, може бути до десятків тисяч повідомлень на аркуші), що містять переписку клієнтів.
Потрібно проаналізувати ці дані з точки зору ряду психологічних показників.
Планується використовувати підхід RAG (Retrieval-Augmented Generation) та векторні бази даних для ефективного пошуку та аналізу.

3. Вимоги до спеціаліста

Big Data: розуміння роботи з великими обсягами даних (Spark/Hadoop або аналоги).
NLP / ML:
- Досвід обробки тексту (попередня обробка, токенізація, очищення) та застосування ML-моделей.
- Знання сучасних методів аналізу тексту (sentiment, topic modeling, класифікація).
Vector Databases / RAG:
- Практика роботи з Pinecone, Milvus, Weaviate (або аналогами) та ембеддинговими моделями.
- Здатність побудувати пайплайн Retrieval-Augmented Generation (генерація ембеддингов, пошук за схожістю, інтеграція LLM).
Додатково:
- Вміння документувати рішення, пояснювати вибір інструментів.
- Навички DevOps (Docker/Kubernetes) вітаються.

4. Очікувані завдання

Підготовка даних: читання, очищення, структуризація переписки.
Формування ембеддингов: налаштування моделей (BERT, Sentence-BERT, OpenAI Embeddings тощо).
Використання векторної БД: завантаження ембеддингов, пошук релевантних фрагментів.
RAG-аналіз: інтеграція з мовною моделлю для витягування ключових характеристик поведінки клієнтів.
Оцінка психологічних критеріїв: налаштування/створення моделей, що дозволяють виділяти потрібні аспекти. (є готовий список критеріїв, за якими потрібно буде оцінювати клієнтів)

5. Ключові навички та технології

Мова: Python (pandas, scikit-learn, PySpark, HuggingFace Transformers або інші).
Інфраструктура: знання хмарних сервісів (AWS, GCP, Azure або інші) або локальних кластерів Big Data.
Векторні бази: Pinecone, Milvus, Weaviate або FAISS або інші.
NLP-бібліотеки: spaCy, NLTK, а також інструменти для лемматизації та очищення.
ML-пайплайн: знання MLOps-інструментів (Airflow, MLflow, Docker або інші).

Ставки 3

Dariia Zelinska

42 0

Проєкти 42
Оцінка 4.8
Рейтинг 4 302

Бюджет: 100 USD Термін: 2 дні

Привіт, є досвід роботи з Big Data, навіть одного разу брала участь у конкурсі Kaggle з аналізу даних і отримала там призове місце. З Kubernetes, різними методами машинного навчання, бібліотеками Python, також знайома не з чуток, був досвід вирішення практичних завдань. Чекаю повідомлення в приват.

У списку не показані ставки, приховані замовником чи фрилансером з Plus, а також ставки, що порушують правила

Актуальні фриланс-проєкти в категорії AI та машинне навчання

Проект з інженерії ML (комп'ютерне зору)

Обробка даних 16 ставок 4 серпня

Не вказано
Створення сайту

67 ставок 4 серпня

1000 UAH
Розробка ПЗ (ROS 2 / Nav2) для автономного робота 4х4: Комп'ютерний зір, асиметрична навігація

14 ставок 2 серпня

Не вказано
Шукаю розробника AI-бота (ChatGPT/OpenAI)

Консультування з AI 87 ставок 1 серпня

Не вказано
Інтеграція АІ агента в Manychat для обробки вхідних повідомлень

Консультування з AI 52 ставки 31 липня

Не вказано

Aaron Kravitz
Петах Тиква, Ізраїль

Проєктів 12
Оцінка 5.0
Рейтинг 489

Dariia Zelinska

Ставки поки відсутні

Актуальні фриланс-проєкти в категорії AI та машинне навчання

Проект з інженерії ML (комп'ютерне зору)

Створення сайту

Розробка ПЗ (ROS 2 / Nav2) для автономного робота 4х4: Комп'ютерний зір, асиметрична навігація

Шукаю розробника AI-бота (ChatGPT/OpenAI)

Інтеграція АІ агента в Manychat для обробки вхідних повідомлень