OpenAI GPT3 API парсер текстового чата в таблицу данных
Хотим для своего продукта построить микросервис, который будет агрегировать данные из профильных чатов в базу данных, с применением алгоритма ИИ.
Ищем энтузиаста или человека с опытом, кто представляет архитектуру данного решения и может реалиховать его при помощи АПИ ИИ. (API OpenAI)
Тут набросал более детальное ТЗ
https://docs.google.com/document/d/15HjAMO8ctQDFewL35G16q865uwq6ZNHs6ZgGCr-70YM/edit#
В первую очередь важно доказать концепцию. Можно построить ввод - вывод через файлы, главное разбирать тектовые данные в структурированный формат.
Опыт работы с API сторонних нейронных сетей - прдепочтительно
-
Ложить чаты в базу - ОК
ИИ тут каким боком?
как надо обрабатывать сообщения перед отправкой?
или что? -
ИИ выделяет из текстовых сообщений типизированные данные.Сообщения просто человекопонятные, не структурированные.
В базу складывает структурированные данные уже. Например цены на определенные виды товаров. -
Оке
А зачем тогда ИИ?
Цены можно выташить и так?
Или же там не только цены?
Если не только цены то у вас есть размеченая нейронка?
Если нет нейронки, то есть хотя бы данные по которым разметить? (База с размечеными и не размечеными сообщениями)
-
Размеченой нейронки нет. GPT3 интеерсно попробовать, потому что он словестные конструкции понимает неплохо разные.
Чат выглядит примерно таким образом
-
вы же понимаете что GPT3 это немного не то?
я молчу про лимиты и ограничения openai.com
GPT3 это просто "эмулятор человека"
если вы ему зададите вопрос "сколько стоит в Одессе рубероид, скормив текст продажи - тогда он может быть даст ответ.
то что у вас на скрине - бот потеряется, потому что это не осознанный текст, а просто набор тезисов.
можно отдельно обучить под это нейронки, но там нужно иметь то на чем обучать, причем как минимум в пятизначных числах для более менее нормального результата
я читал что GPT3 можно дообучить, но там скорее идет обучение как отвечать, а не что находить.
то есть если нужно давать консультации по медицине - можно загрузить справочник
но вытащить данные не из логически построенного текста - увы
что бы дешево и быстро - сделать онлайн-форму обработки для человека
ему туда сыпятся сообщения, а он уже кликами "размечает"
первый клик - название
второй клик - цена
зажатый шифт и клик - выбрать номер телефона или что то такое
монотонная но простая работа -
Да, я примерно представляю как это по классике делается, на уровне продаката, не на уровне инженера.
Просто вдохновился экспериментами с песочницей ЖПТ..
Я строю свое предположение на том, что я ему пишу человеческим языком промт и даю неструктурированный текст, а он мне возвращает более менее интересный ответ. Сейчас покажу пример. -
можно попробовать
просто я с точки зрения практики - когда переходим с одиночных тестовых текстов, на боевые разноплановые, точность выборки начинает скакать в пределах 40-50%
сколько раз уже это пыталось с парсерами на моей практике - даже треть машинных ошибок это очень много
причем ты не узнаешь что машина ошиблась пока не просмотришь сам
а ведь пустые поля не самое страшное - нейронка может одни числа в другие ячейки подставлять. причем не постоянно, а изредка
и потом будет много боли и непонимания - данные вот, на первый взгляд все хорошо, но почему то на выходе числа не сходятся
как вариант разве что хранить у вас в базе все
то есть разметить то разметить, но не размеченый тоже
при выдаче\выборке показывать и не размеченый что бы человек мог убедится -
Да, я сильно не романтизирую.
Сейчас начал задумываться, чтоб эксперементировать над этим на уровне вспомогательного внутреннего сервиса.
Я сам не до конца представляю архитектуру данного решения пока.
Я напишу вам в личные -
Доброй ночи.
Можно больше конкретики?
С ув.,
Сергей
-
Актуальные фриланс-проекты в категории AI и машинное обучение
Технический консультант по оптимизации железа и аудиту стабильности памяти
53 812 UAH
Всем привет! Ищу специалиста по компьютерному железу или системного инженера, который поможет мне разобраться с нестабильной производительностью моего локального сервера. Я собрал его для рабочих задач, но, похоже, моих любительских знаний не хватает, чтобы выжать из него… AI и машинное обучение ∙ 8 часов 17 минут назад ∙ 5 ставок |
Автоматизация маркетинг через ИИищу человека (не бота) который разбирается в AI агентах, умеет их строить. Под AI агентом я имею в виду: обработка входных данных, запрос на 1х ЛЛМ или похожуу AI модель, потенциальный запрос MCP или похожего, потенциальный запрос RAG системы обработка выходных данных И опыт… AI и машинное обучение ∙ 9 часов 39 минут назад ∙ 18 ставок |
Создание ИИ-АгентаНеобходимо создать AI-агента, который будет выполнять функции профессионального дизайнера упаковки для бренда спортивного питания. Агент должен помогать в разработке новых дизайнов продукции, создании маркировок и адаптации существующих макетов под различные рынки и… AI и машинное обучение, AI в дизайне ∙ 10 часов 13 минут назад ∙ 22 ставки |
«Автоматизация / Чат-боты» «Настройка CRM»
5000 UAH
Ищу технического ассистента / интегратора для настройки автоматизации в салоне красоты. Настройка чат-бота для салона красоты (Интеграция Instagram + Altegio/YCLIENTS + Wahelp) с обучением Что имеем сейчас:CRM-система: Altegio (YCLIENTS).Основной канал трафика: Instagram Direct… AI и машинное обучение, Разработка ботов ∙ 1 день 6 часов назад ∙ 31 ставка |
Автоматизация создания вертикальных видео одного типа.На YouTube Footula shorts - вопрос, возможно ли делать такие видео автоматически или полуустно (без наводок в After Effects), каждое из которых должно быть уникальным и придерживаться стилистики референса (в идеале использовать текстуры и айтемы из конкретного пакета) AI и машинное обучение, AI в дизайне ∙ 1 день 7 часов назад ∙ 13 ставок |
Полтава