Программный комплекс для голосового взаимодействия с пользователями на базе OpenAI + одноплатного ПК
Описание задания:
Необходимо создать программный комплекс, который значительно улучшает пользовательский опыт взаимодействия с аппаратами выдачи товара компании.
Это решение должно стать оболочкой для голосового общения с клиентами, которая работает на основе продуктов OpenAI (Whisper, TTS, GPT) и поддерживается двумя уровнями архитектуры:
🧩 1. Локальный модуль (на каждом аппарате):
Размещается на одноплатном компьютере (например, Raspberry Pi или его аналог),
Подключает:
🎙️ микрофон для записи голоса,
🔊 динамик для озвучивания ответов,
📸 камеру для распознавания лиц,
⚙️ реле или контроллер для открытия ящичка аппарата.
Установленная ОС (Linux/Ubuntu/Raspberry Pi OS) и программа, которая:
Определяет движение пользователя (через датчик),
Включает камеру и микрофон,
Проводит распознавание лиц,
Общается с пользователем через голосовой интерфейс:
Распознает речь через Whisper API,
Определяет сценарий общения через центральный промпт,
Получает ответы от GPT и озвучивает их через TTS,
Записывает все события и синхронизирует их с центральной базой.
🌐 2. Облачный сервис (централизованный бэкенд):
Содержит единую базу всех пользователей, лиц, историй покупок и транзакций,
Имеет механизм централизованного управления промптом, который определяет логику диалога ботов в каждом аппарате,
Синхронизируется со всеми терминалами:
Ежедневная передача данных из облака → локальные аппараты,
Мгновенное обновление облака → после регистрации нового пользователя.
🎯 Как работает система:
Пользователь подходит → датчик движения активирует аппарат,
Камера идентифицирует лицо → если не найдено — предлагается регистрация,
Начинается голосовой диалог, построенный по правилам из промпта:
Распознавание через Whisper,
Ответ GPT (в контексте персональных данных/истории клиента),
Озвучение через TTS,
Если пользователь новый → мгновенно добавляется в облачную базу,
Система учитывает этот факт в реальном времени, завершает диалог и выполняет:
регистрацию,
выдачу промо-продукта,
или другие маркетинговые действия (по сценарию).
🛠️ Необходимо реализовать:
Локальную программу на одноплатном ПК (например, Raspberry Pi),
Голосовой интерфейс (STT + GPT + TTS),
Обработку распознавания лиц (OpenCV / face_recognition),
Локальную базу пользователей + лог событий,
Синхронизацию с облачной базой (REST API или WebSocket),
Централизованный облачный сервис с:
CRM для пользователей и событий,
управлением глобальными промптами,
возможностью вносить изменения с одного ПК на все терминалы.
💡 Это решение должно быть полезным для:
Полной автоматизации обслуживания пользователей,
Запуска акций "1 грн за регистрацию" или "Подарок постоянному клиенту",
Умного управления товаром на основе типа клиента,
Детального журналирования всех действий с привязкой к личности.
⚙️ Технологии (рекомендуется):
Python, FastAPI / Flask,
OpenAI API (Whisper, GPT, TTS),
SQLite/PostgreSQL,
Raspberry Pi OS / Ubuntu,
face_recognition + OpenCV,
Docker (для микросервисов),
USB Relay / GPIO для управления ящиками.
⏱️ Срок реализации:
2–4 недели.
(Возможна реализация поэтапно: MVP → интеграция → масштабирование)
-
310 2 1 Привет! 👋
Меня заинтересовал ваш проект — это именно тот случай, когда сочетаются технологии будущего и реальный бизнес-кейс 💡
🔹 Я/Моя команда имеем глубокий опыт в разработке embedded-систем на Raspberry Pi, работе с OpenAI API (Whisper, GPT-4, TTS), а также в разработке облачной инфраструктуры (FastAPI + PostgreSQL, Docker, WebSocket/REST API).
🔧 Что можем реализовать:
✅ 1. Локальный модуль (терминал на Raspberry Pi):
🎤 Подключение микрофона + Whisper API (распознавание речи)
📢 Озвучка ответов через TTS
… 📷 Распознавание лиц (face_recognition + OpenCV)
📦 Управление реле / GPIO (открытие ящичка)
👁️ Датчик движения → активация сессии
💾 Локальная база пользователей + кэш логов/сессий
🔄 Синхронизация с облаком (REST/WebSocket)
✅ 2. Облачный сервис:
🌐 FastAPI + PostgreSQL
🔑 Единая база пользователей (ID + фото + история транзакций)
🧠 Централизованное управление GPT-промптами + обновление логики
📈 CRM-панель (web-интерфейс) для просмотра логов/событий/анализа
⚙️ Массовое обновление данных на терминалы
🔐 Уровни доступа для администраторов
💬 Как будет работать:
Пользователь подходит → датчик активирует камеру + микрофон
Лицо распознается (или регистрируется новое)
Запускается голосовой диалог (Whisper → GPT → TTS)
Если нужно — открывается ящичек / отправляется промо
Все событие фиксируется в логах и передается в облако
📦 MVP в течение 2–4 недель:
Возможна поэтапная реализация:
MVP для 1 аппарата → тест → масштабирование до сети.
💬 Дополнительно:
Обеспечиваем техподдержку после релиза
Предлагаем удобную админ-панель (доступ с ПК/планшета)
Поможем с закупкой/настройкой Pi и периферии
🔹 Готовы обсудить детали, предложить архитектуру, спринты и спросить все, что нужно — напишите или киньте контакты.
Проект выглядит чрезвычайно интересным и перспективным 🚀
-
6501 229 4 7 Привет
Интересная задача.
Пишите в личные сообщения.
Обсудим детали.
-
726 9 1 Здравствуйте! Я ознакомился с вашим проектом и готов начать работу. Гарантирую высокое качество и оперативное выполнение.
-
8778 60 0 1 Добрый день. Готов выполнить.
У меня большой опыт реализации AI проектов.
В основном пишу на Python, занимаю 2-е место на платформе.
Разработаю систему для улучшения пользовательского опыта взаимодействия с автоматами для выдачи товара. Реализую необходимый функционал. Подключу интеграции. Настрою и обучу AI модель. Разработаю обеспечение для локального модуля и облачного сервиса. Настрою и оптимизирую необходимые элементы взаимодействия (камера, микрофон).
Сделаю полную автоматизацию всех процессов. Протестирую и предоставлю необходимую документацию.
Мое портфолио:Freelancehunt
Пишите, обсудим и я приступлю к работе.
Актуальные фриланс-проекты в категории AI и машинное обучение
Сделать видео-ролик AI
2000 UAH
Сгенерировать видеоролик с рендера здания с использованием фото объекта в соответствии с референсом и с учетом сценария. Есть разработанный тестовый промт, который нужно доработать. Вероятные нейронки для генерации: King AI, Runway, Luma, Google AI Pro, Google AI Ultra. Но это… AI и машинное обучение ∙ 11 часов 19 минут назад ∙ 9 ставок |
Шукпю AI Automation Engineer
1000 UAH
Нужен AI Automation Engineer, специалист для создания системы активного поиска клиентов и умного аутрича (не обычный чат-бот-автоответчик) в В2В проект Сбор данных: автоматический парсинг контактов из «слепых» баз по назва. Умная рассылка: интеграция Claude/OpenAI для… AI и машинное обучение, Встраиваемые системы и микроконтроллеры ∙ 13 часов 38 минут назад ∙ 9 ставок |
Разработка Highload системы с fine tuning моделей LLMРазработка высоконагруженной (Highload) системы c fine tuning LLM моделей для онлайн сервиса мультимодального поиска товаров по фото и текстовому запросу одновременно интегрированного в мессенджеры через персонального агента-ассистента. AI и машинное обучение ∙ 22 часа 42 минуты назад ∙ 13 ставок |
Нужен разработчик для создания автоматизированного AI-сервиса по генерации нумерологических отчетов
8000 UAH
Ищу разработчика, который сможет реализовать под ключ автоматизированный сервис для генерации персональных нумерологических отчетов. Есть готовая концепция продукта, формулы расчетов, тексты, база знаний, дизайн лендинга и дизайн PDF-отчетов. Необходимо объединить все это в… AI и машинное обучение, Веб-программирование ∙ 1 день 1 час назад ∙ 69 ставок |
Нужна AI-фотосессия для сайта знакомств и соцсетей (10 фото)Нужна AI-фотосессия для сайта знакомств и соцсетей (10 фото) Ищу специалиста по AI-генерации, ретуши и фотомонтажу для создания реалистичной фотосессии на основе моих фотографий. Что нужно сделать: Создать 10 качественных и максимально реалистичных фотографий с использованием… AI в дизайне, AI и машинное обучение ∙ 1 день 11 часов назад ∙ 29 ставок |