Этап 1. Импорт сценария
Цель: Получение субтитров
Функциональность:
- Загрузка ютуб канала по ссылке (youtube_dl, yt-dlp);
- Получение списка всех видео пользователя/канала (через YouTube Data API v3);
- Загрузка встроенных субтитров или генерация через ASR (если нет).
Методы:
- yt-dlp (субтитры);
- YouTube API для сбора ссылок;
Этап 2. Получение сценария
Цель: Получить структурированный текст для дальнейшей генерации контента.
Функциональность:
- Рерайтинг блоков с сохранением смысла.
- Разделение текста на блоки (по смыслу или таймкодам);
- Генерация сценария сразу по блокам.
Методы:
- Whisper (через openai/whisper или faster-whisper);
- Простое разделение по паузам или длине блока;
- GPT-4 или Claude для переформулировки (API);
- В случае многосерийных видео — батчинг и обработка в фоне.
Этап 3. Генерация изображений
Цель: Сгенерировать AI-изображения/видео для определенного количества времени озвучки.(условно первый блок занимает 1 минуту. я как пользователь софта хочу выбирать сколько изображений или видео должно быть в этой минуте. 5,10,15 и тд.)
Функциональность генерации изображения:
- Автоматическая генерация промтов (по теме блока);
- Генерация изображений через выбранный движок;
- Возможность выбрать стиль изображение;
Функциональность генерации видео:
Софт для масс регестрирования учётных записей на платформе klingai.com
Импортирование сгенерированного изображения
Возможность введения промпта для каждого отдельного изображения или группы изображений
генерация видео на основе первого изображения с учётом стандартного промпта, либо с учётом кастомногопромпта под изображение
Методы:
-
- Midjourney через Discord-бота (если допустимо);
- Настраиваемые шаблоны промтов (prompt-engineering).
Этап 4. Озвучка
Цель: Озвучить каждый блок текстовки выбранным голосом.
Функциональность:
- Поддержка нескольких голосов и языков;
- Автосинхронизация аудио и блока;
- Сохранение аудиофайлов в нужной структуре.
Методы:
- ElevenLabs API (наиболее качественные голоса);
- Сохранение таймингов и аудио в WAV/MP3.
Этап 5. Автоматический монтаж
Цель: Собрать итоговое видео из компонентов.
Функциональность:
- Комбинация изображений/видео, озвучки и фоновой музыки;
- Добавление переходов и титров;
- Добавление общего шаблона (эффекты, скорость и тп.) Условно у нас есть эффект который создает блики на видео, он цикличный на 5секунд. Мы закидываем это видео в папку с генерацией, для определенного проекта.(1 проект = 1 канал), и софт при монтаже видео накладывает голос, эффекты, переходы на наши сгенерированные картинки или видео.
- Генерация выходного видео в 16:9 (MP4).
Методы:
- FFmpeg (для склейки, наложения звука и видео);
- moviepy (Python-библиотека для базовой логики);
- Автоматическая генерация субтитров и таймингов;
- Опционально — редактор UI (React + Electron).
Стек
Backend:
- Python (основа пайплайна)
- FastAPI или Flask (для API-интерфейсов)
- PostgreSQL / SQLite (хранение данных)
- Redis / Celery (очереди задач)
Audio/Video:
- yt-dlp (скачивание видео/аудио)
- Whisper / Faster-Whisper (ASR)
- FFmpeg, moviepy (монтаж)
- Text-to-Speech APIs (ElevenLabs, Google, Azure)
AI / LLM:
- OpenAI GPT-4 (рерайтинг, промтинг)
- Claude (Anthropic) (альтернатива)
- DALL·E, Stable Diffusion, Midjourney (визуализация)
Цену предлагайте сами, все обсудим.
