Chmurowa usługa renderowania wideo na GPU z botem Telegram, lokalnym Whisper i integracjami API

Chmurowa usługa renderowania wideo na GPU z botem Telegram, lokalnym Whisper i integracjami z Fal AI (Flux Schnell i Wan 2)

1. Cel projektu

Stworzyć chmurową usługę renderowania wideo z interfejsem Telegram, która:

• Przyjmuje pliki i instrukcje przez bota Telegram
  
  

• Pobiera obrazy przez API Fal AI Flux Schnell
  
  

• Pobiera wideo przez API Fal AI (model Wan 2)
  
  

• Lokalnie generuje napisy (Whisper)
  
  

• Renderuje wszystko na GPU (przez ffmpeg/OpenCV/SDK)
  
  

• Wydaje gotowy wynik przez Google Drive
  
  

2. Stos technologiczny

• Telegram Bot API (Python: [aiogram, pyrogram] lub Node.js)
  
  

• ffmpeg z obsługą GPU (NVENC, CUDA, VideoToolbox)
  
  

• OpenCV z CUDA (w razie potrzeby do niestandardowego przetwarzania klatek)
  
  

• Fastvideo SDK (jeśli potrzebne przyspieszenie, w budżecie)
  
  

• OpenAI Whisper (lokalnie, CPU/GPU, przez binding Python)
  
  

• Fal AI API (Flux Schnell — obrazy, Wan 2 — wideo)
  
  

• Google Drive API (przesyłanie gotowych wideo)
  
  

• Chmura: DigitalOcean (lub AWS/GCP), koniecznie instancje GPU
  
  

• Docker (kontenery do izolacji pracowników renderujących)
  
  

• (Opcjonalnie) Kubernetes do automatycznego skalowania
  
  

3. Główna logika działania

3.1. Bot Telegram

• Przyjmuje instrukcje, pliki użytkownika (tekst, audio, wideo, parametry).
  
  

• Pokazuje statusy (“kolejka”, “renderuje”, “gotowe”).
  
  

• Pozwala wybrać szablon, styl, ustawić tekst do napisów.
  
  

3.2. Pipeline renderowania

1. Zapytanie użytkownika otrzymane → dodawane do kolejki (kolejka na Redis/DB).
   
   

2. Pobierane obrazy przez API Fal AI Flux Schnell
   
   

   • Wysłać prompt, otrzymać url/jpg/png.
     
     

3. Pobierane wideo przez Fal AI Wan 2
   
   

   • Zapytanie API, otrzymać mp4/mov lub url.
     
     

4. Generowane napisy przez Whisper
   
   

   • Audio (jeśli potrzebne) podawane do Whisper (lokalnie na GPU/CPU).
     
     

   • Wynik — plik srt/txt.
     
     

5. Renderowanie wideo na GPU
   
   

   • Wszystkie elementy zbierane (wideo, obrazy, audio, napisy) w jeden film.
     
     

   • ffmpeg z pełną obsługą GPU.
     
     

   • Opcjonalnie niestandardowe przetwarzanie przez OpenCV CUDA.
     
     

6. Gotowy plik przesyłany na Google Drive
   
   

   • Tworzona unikalna folder/link.
     
     

7. Użytkownik otrzymuje link w Telegramie
   
   

4. Wymagania techniczne do renderowania

• Renderowanie 10-15 wideo (1 godzina każde) równolegle
  
  

• ffmpeg uruchamiane z parametrami NVENC/CUDA
  
  

• Dodawanie audio/wideo/napisów — tylko przez GPU
  
  

• Whisper instalowane lokalnie (przez Docker lub systemowo)
  
  

• Fal AI API — integracja przez REST, obsługa błędów/retry
  
  

• Wszystkie pliki pośrednie usuwane po zakończeniu renderowania
  
  

5. Architektura (schematycznie)

1. Użytkownik (Telegram)
   
   

2. Bot Telegram
    ↕
   
   

3. Menadżer kolejki renderowania (monitorowanie statusów)
    ↕
   
   

4. Pracownik renderujący (Docker):
   
   

   • Pobiera dane z Fal AI (obrazy/wideo)
     
     

   • Wywołuje Whisper do napisów
     
     

   • Skleja wideo (ffmpeg na GPU)
     
     

   • Przesyła wynik do Google Drive
     
     

   • Informuje Menadżera Kolejki/bota
     
     

6. Minimalne wymagania do serwera

• DigitalOcean GPU droplet (8+ rdzeni CPU, 32+ GB RAM, 1+ GPU, NVMe SSD)
  
  

• Docker zainstalowany
  
  

• Python 3.10+, Node.js (jeśli potrzebne dla botów)
  
  

• ffmpeg z obsługą CUDA/NVENC
  
  

• OpenCV z CUDA
  
  

• Whisper (instalacja przez pip + modele)
  
  

• Dostęp do internetu dla API Fal AI i Google Drive
  
  

7. Przykład pipeline'u (pseudokod)

# 1. Pobierz obraz przez Fal AI Flux Schnell

image_url = fal_api.get_image(prompt)

download(image_url)

# 2. Pobierz wideo przez Fal AI Wan 2

video_url = fal_api.get_video(params)

download(video_url)

# 3. Whisper (lokalnie) -> uzyskaj napisy

subtitles = whisper.transcribe(audio_file)

# 4. ffmpeg (GPU) — zbuduj wideo

cmd = f"ffmpeg -hwaccel cuda -i video.mp4 -i image.jpg -vf 'subtitles=subs.srt' -c:v h264_nvenc output.mp4"

run(cmd)

# 5. Prześlij do Google Drive, uzyskaj link

link = google_drive.upload('output.mp4')

telegram_bot.send_message(user_id, link)

8. Co ma zrobić programista

• Uruchomić bota Telegram (lub poprawić, jeśli już istnieje)
  
  

• Napisać handler do integracji z Fal AI (2 endpointy)
  
  

• Przygotować pracownika renderującego (Docker), który:
  
  

  • Pobiera media z API
    
    

  • Wywołuje lokalny Whisper
    
    

  • Generuje napisy w SRT
    
    

  • Uruchamia ffmpeg na GPU ze wszystkimi parametrami
    
    

  • Przesyła wideo do Google Drive
    
    

  • Wysyła statusy z powrotem do Telegramu
    
    

• Zapewnić skalowanie i równoległość (wiele pracowników Docker)
  
  

• Dokumentacja dotycząca uruchamiania i wdrażania
  
  

9. Dokumentacja/Raporty

• Opisać wdrożenie na DigitalOcean (lub innej chmurze), instrukcje dotyczące uruchamiania kontenerów, podłączenia do API
  
  

• README z przykładami poleceń i testowania
  
  

10. Terminy i budżet

• Zaproponować terminy realizacji MVP (podstawowy przepływ, 1-2 pracowników)
  
  

• Oszacować budżet na uruchomienie w DigitalOcean na 1 miesiąc pracy (punkt odniesienia: 1-2 GPU droplets)
  
  

Gotowy do dostarczenia dodatkowych szczegółów (API Fal AI, przykłady promptów, przykłady wideo/obrazów do testów) — na żądanie.