Облачный видеорендеринг сервис на GPU с Telegram-ботом, локальным Whisper и интеграциями API

Облачный видеорендер сервис на GPU с Telegram-ботом, локальным Whisper и интеграциями с Fal AI (Flux Schnell и Wan 2)

1. Цель проекта

Создать облачный видеорендер сервис с Telegram-интерфейсом, который:

• Принимает файлы и инструкции через Telegram-бота
  
  

• Подтягивает картинки через API Fal AI Flux Schnell
  
  

• Подтягивает видео через API Fal AI (модель Wan 2)
  
  

• Локально генерирует субтитры (Whisper)
  
  

• Рендерит всё на GPU (через ffmpeg/OpenCV/SDK)
  
  

• Выдает готовый результат через Google Drive
  
  

2. Технологический стек

• Telegram Bot API (Python: [aiogram, pyrogram] или Node.js)
  
  

• ffmpeg с поддержкой GPU (NVENC, CUDA, VideoToolbox)
  
  

• OpenCV с CUDA (при необходимости для кастомной обработки кадров)
  
  

• Fastvideo SDK (если нужно ускорение, по бюджету)
  
  

• OpenAI Whisper (локально, CPU/GPU, через Python binding)
  
  

• Fal AI API (Flux Schnell — картинки, Wan 2 — видео)
  
  

• Google Drive API (заливка готовых видео)
  
  

• Облако: DigitalOcean (или AWS/GCP), обязательно GPU-инстансы
  
  

• Docker (контейнеры для изоляции рендер-воркеров)
  
  

• (Опционально) Kubernetes для автоматического масштабирования
  
  

3. Основная логика работы

3.1. Telegram бот

• Принимает инструкции, файлы пользователя (текст, аудио, видео, параметры).
  
  

• Показывает статусы (“очередь”, “рендерится”, “готово”).
  
  

• Позволяет выбрать шаблон, стиль, задать текст для субтитров.
  
  

3.2. Пайплайн рендеру

1. Запрос пользователя получен → добавляется в очередь (очередь на Redis/DB).
   
   

2. Подтягиваются картинки через API Fal AI Flux Schnell
   
   

   • Отправить prompt, получить url/jpg/png.
     
     

3. Подтягивается видео через Fal AI Wan 2
   
   

   • API запрос, получить mp4/mov или url.
     
     

4. Генерируются субтитры через Whisper
   
   

   • Аудио (если нужно) подается в Whisper (локально на GPU/CPU).
     
     

   • Результат — srt/txt файл.
     
     

5. Рендеринг видео на GPU
   
   

   • Все элементы собираются (видео, картинки, аудио, субтитры) в один видеоролик.
     
     

   • ffmpeg с полной поддержкой GPU.
     
     

   • Опционально кастомная обработка через OpenCV CUDA.
     
     

6. Готовый файл загружается на Google Drive
   
   

   • Создается уникальная папка/ссылка.
     
     

7. Пользователю отправляется ссылка в Telegram
   
   

4. Технические требования к рендеру

• Рендеринг 10-15 видео (1 час каждое) параллельно
  
  

• ffmpeg запускается с параметрами NVENC/CUDA
  
  

• Добавление аудио/видео/субтитров — только через GPU
  
  

• Whisper устанавливается локально (через Docker или system-wide)
  
  

• Fal AI API — интеграция через REST, обработка ошибок/ретрай
  
  

• Все промежуточные файлы удаляются после завершения рендеру
  
  

5. Архитектура (схематично)

1. Пользователь (Telegram)
   
   

2. Telegram Bot
    ↕
   
   

3. Render Queue Manager (очередь рендеру, мониторинг статусов)
    ↕
   
   

4. Render Worker (Docker):
   
   

   • Фетчит данные с Fal AI (картинки/видео)
     
     

   • Вызывает Whisper для субтитров
     
     

   • Склеивает видео (ffmpeg на GPU)
     
     

   • Загружает результат в Google Drive
     
     

   • Сообщает Queue Manager/боту
     
     

6. Минимальные требования к серверу

• DigitalOcean GPU droplet (8+ ядер CPU, 32+ GB RAM, 1+ GPU, NVMe SSD)
  
  

• Docker установлен
  
  

• Python 3.10+, Node.js (если нужно для ботов)
  
  

• ffmpeg с поддержкой CUDA/NVENC
  
  

• OpenCV с CUDA
  
  

• Whisper (инсталляция через pip + модели)
  
  

• Доступ к интернету для API Fal AI и Google Drive
  
  

7. Пример пайплайна (псевдокод)

# 1. Фетч картинки через Fal AI Flux Schnell

image_url = fal_api.get_image(prompt)

download(image_url)

# 2. Фетч видео через Fal AI Wan 2

video_url = fal_api.get_video(params)

download(video_url)

# 3. Whisper (локально) -> получить субтитры

subtitles = whisper.transcribe(audio_file)

# 4. ffmpeg (GPU) — собрать видео

cmd = f"ffmpeg -hwaccel cuda -i video.mp4 -i image.jpg -vf 'subtitles=subs.srt' -c:v h264_nvenc output.mp4"

run(cmd)

# 5. Загрузить в Google Drive, получить ссылку

link = google_drive.upload('output.mp4')

telegram_bot.send_message(user_id, link)

8. Что должен сделать разработчик

• Поднять Telegram-бота (или доработать, если уже есть)
  
  

• Написать обработчик для интеграции с Fal AI (2 эндпоинта)
  
  

• Подготовить воркер рендеру (Docker), который:
  
  

  • Тянет медиа с API
    
    

  • Вызывает локальный Whisper
    
    

  • Генерирует субтитры в SRT
    
    

  • Запускает ffmpeg на GPU со всеми параметрами
    
    

  • Загружает видео на Google Drive
    
    

  • Пишет статусы назад в Telegram
    
    

• Обеспечить масштабирование и параллельность (много Docker-воркеров)
  
  

• Документация по запуску и деплою
  
  

9. Документация/Отчеты

• Описать деплой на DigitalOcean (или другую облако), инструкции по поднятию контейнеров, подключению к API
  
  

• README с примерами команд и тестирования
  
  

10. Сроки и бюджет

• Предложить сроки на реализацию MVP (basic flow, 1-2 воркера)
  
  

• Оценить бюджет на запуск в DigitalOcean на 1 месяц работы (ориентир: 1-2 GPU droplets)
  
  

Готов предоставить дополнительные детали (API Fal AI, примеры prompt’ов, примеры видео/картинок для теста) — по запросу.