Хмарний відео-рендер сервіс на GPU з Telegram-ботом, локальним Whisper та інтеграціями API

Хмарний відео-рендер сервіс на GPU з Telegram-ботом, локальним Whisper та інтеграціями з Fal AI (Flux Schnell та Wan 2)

1. Мета проекту

Створити хмарний відео-рендер сервіс із Telegram-інтерфейсом, який:

• Приймає файли й інструкції через Telegram-бота
  
  

• Підтягує картинки через API Fal AI Flux Schnell
  
  

• Підтягує відео через API Fal AI (модель Wan 2)
  
  

• Локально генерує субтитри (Whisper)
  
  

• Рендерить усе на GPU (через ffmpeg/OpenCV/SDK)
  
  

• Видає готовий результат через Google Drive
  
  

2. Технологічний стек

• Telegram Bot API (Python: [aiogram, pyrogram] або Node.js)
  
  

• ffmpeg з підтримкою GPU (NVENC, CUDA, VideoToolbox)
  
  

• OpenCV з CUDA (за потреби для кастомної обробки кадрів)
  
  

• Fastvideo SDK (якщо потрібно прискорення, за бюджетом)
  
  

• OpenAI Whisper (локально, CPU/GPU, через Python binding)
  
  

• Fal AI API (Flux Schnell — картинки, Wan 2 — відео)
  
  

• Google Drive API (заливка готових відео)
  
  

• Хмара: DigitalOcean (або AWS/GCP), обов’язково GPU-інстанси
  
  

• Docker (контейнери для ізоляції рендер-воркерів)
  
  

• (Опційно) Kubernetes для автоматичного масштабування
  
  

3. Основна логіка роботи

3.1. Telegram бот

• Приймає інструкції, файли користувача (текст, аудіо, відео, параметри).
  
  

• Показує статуси (“черга”, “рендериться”, “готово”).
  
  

• Дозволяє обрати шаблон, стиль, задати текст для субтитрів.
  
  

3.2. Пайплайн рендеру

1. Запит користувача отримано → додається у чергу (черга на Redis/DB).
   
   

2. Підтягуються картинки через API Fal AI Flux Schnell
   
   

   • Надіслати prompt, отримати url/jpg/png.
     
     

3. Підтягується відео через Fal AI Wan 2
   
   

   • API запит, отримати mp4/mov або url.
     
     

4. Генеруються субтитри через Whisper
   
   

   • Аудіо (якщо потрібно) подається у Whisper (локально на GPU/CPU).
     
     

   • Результат — srt/txt файл.
     
     

5. Рендеринг відео на GPU
   
   

   • Всі елементи збираються (відео, картинки, аудіо, субтитри) в один відеоролик.
     
     

   • ffmpeg з повною підтримкою GPU.
     
     

   • Опціонально кастомна обробка через OpenCV CUDA.
     
     

6. Готовий файл заливається на Google Drive
   
   

   • Створюється унікальна папка/посилання.
     
     

7. Користувачу надсилається посилання у Telegram
   
   

4. Технічні вимоги до рендеру

• Рендеринг 10-15 відео (1 година кожне) паралельно
  
  

• ffmpeg запускається з параметрами NVENC/CUDA
  
  

• Додавання аудіо/відео/субтитрів — тільки через GPU
  
  

• Whisper встановлюється локально (через Docker або system-wide)
  
  

• Fal AI API — інтеграція через REST, обробка помилок/ретрай
  
  

• Усі проміжні файли видаляються після завершення рендеру
  
  

5. Архітектура (схематично)

1. User (Telegram)
   
   

2. Telegram Bot
    ↕
   
   

3. Render Queue Manager (черга рендеру, моніторинг статусів)
    ↕
   
   

4. Render Worker (Docker):
   
   

   • Фетчить дані з Fal AI (картинки/відео)
     
     

   • Викликає Whisper для субтитрів
     
     

   • Склеює відео (ffmpeg на GPU)
     
     

   • Завантажує результат у Google Drive
     
     

   • Повідомляє Queue Manager/бота
     
     

6. Мінімальні вимоги до серверу

• DigitalOcean GPU droplet (8+ ядер CPU, 32+ GB RAM, 1+ GPU, NVMe SSD)
  
  

• Docker встановлений
  
  

• Python 3.10+, Node.js (якщо потрібно для ботів)
  
  

• ffmpeg із підтримкою CUDA/NVENC
  
  

• OpenCV із CUDA
  
  

• Whisper (інсталяція через pip + моделі)
  
  

• Доступ до інтернету для API Fal AI та Google Drive
  
  

7. Зразок пайплайну (псевдокод)

# 1. Фетч картинку через Fal AI Flux Schnell

image_url = fal_api.get_image(prompt)

download(image_url)

# 2. Фетч відео через Fal AI Wan 2

video_url = fal_api.get_video(params)

download(video_url)

# 3. Whisper (локально) -> отримати субтитри

subtitles = whisper.transcribe(audio_file)

# 4. ffmpeg (GPU) — зібрати відео

cmd = f"ffmpeg -hwaccel cuda -i video.mp4 -i image.jpg -vf 'subtitles=subs.srt' -c:v h264_nvenc output.mp4"

run(cmd)

# 5. Upload to Google Drive, get link

link = google_drive.upload('output.mp4')

telegram_bot.send_message(user_id, link)

8. Що має зробити розробник

• Підняти Telegram-бота (або доопрацювати, якщо вже є)
  
  

• Написати обробник для інтеграції з Fal AI (2 ендпоїнта)
  
  

• Підготувати воркер рендеру (Docker), що:
  
  

  • Тягне медіа з API
    
    

  • Викликає локальний Whisper
    
    

  • Генерує субтитри у SRT
    
    

  • Запускає ffmpeg на GPU з усіма параметрами
    
    

  • Завантажує відео на Google Drive
    
    

  • Пише статуси назад у Telegram
    
    

• Забезпечити масштaбування та паралельність (багато Docker-воркерів)
  
  

• Документація по запуску та деплою
  
  

9. Документація/Звіти

• Описати деплой на DigitalOcean (або іншу хмару), інструкції по підняттю контейнерів, підключенню до API
  
  

• README з прикладами команд і тестування
  
  

10. Терміни та бюджет

• Запропонувати терміни на реалізацію MVP (basic flow, 1-2 воркери)
  
  

• Оцінити бюджет на запуск у DigitalOcean на 1 місяць роботи (орієнтир: 1-2 GPU droplets)
  
  

Готовий надати додаткові деталі (API Fal AI, приклади prompt’ів, приклади відео/картинок для тесту) — на вимогу.