Программа для автоматизации создания видео

2 вариант – для создания видео (к примеру) истории и рассказы, интересные факты и тп

Буду описывать по примеру работы с ChatGPT, немного пробовал с ним работать в этом направлении) Но готов рассматривать разные варианты нейросетей

1. Общий принцип работы

1. Разделение текста:
   • Текст делится на абзацы, предложения или заранее установленное количество частей. (думаю предложения и абзацы неплохой вариант)
   • Каждая часть текста отправляется в запрос для генерации картинки.
2. Генерация картинок:
   • Используется ChatGPT (с DALL·E) или Stable Diffusion или еще что-то. С чат GPT немного работал в этом планет с Diffusion нет
   • Картинка создаётся на основе текста, сохраняется в заданной папке.
3. Монтаж:
   • Картинки и текст синхронизируются с аудиодорожкой (озвучкой текста).
   • Итоговая последовательность собирается в видеоредакторе.

2. Особенности работы с запросами

1. Работа начинается не с новой ветки, а с определённой ветки чата GPT, его нужно немного обучить и потом можно работать
2. Добавление уточняющих промптов:
   • Иногда текстовый запрос может выдавать ошибку или некорректный результат.
   • Для исправления добавляется дополнительный промпт:
     "СДЕЛАЙ МНЕ КАРТИНКУ СОГЛАСНО ТЕКСТУ В РАЗРЕШЕНИИ…". Или что-то подобное (промпт можно корректировать). Сталкивался с этим и в некоторых случаях помогает. По хорошему промпт нужно добавлять всегда, уточнив стиль картинки, разрешение и тп
3. Устранение ошибок:
   • Ошибки чаще всего на тапе генерации картинок.
   • Возможны пропуски, которые придётся контролировать вручную.
   • Также заметил, что есть лимит на генерацию картинок, нужна пауза или временная остановка запроса или ожидание

3. Алгоритм работы программы

1. Начало работы:
   • Текст копируется и делится на части.
   • Каждая часть вставляется в запрос для генерации картинки.
2. Генерация и сохранение картинки:
   • Картинка скачивается и сохраняется в указанной папке. 
   • Если процесс завершился успешно, переходит к следующему текстовому блоку.
3. Обработка ошибок:
   • Если картинка не создаётся или создается в ненужно размере (такое бывает), программа автоматически повторяет запрос с уточнением:
     "СДЕЛАЙ МНЕ КАРТИНКУ СОГЛАСНО ТЕКСТУ В ТАКОМ-ТО РАЗРЕШЕНИИ". Промпт можно где-то корректировать
4. Перезапуск работы:
   • Если повторный запрос не сработал, программа перезапускается вручную или автоматически.  Или же просто чат начал выдавать ерунду. Снова вручную обучил и запустил
   • При перезапуске она начинает с последнего успешно сохранённого файла (картинки).

4. Три варианта работы с ошибками

1. Автоматический повтор запроса:
   • Программа добавляет уточнение к запросу и повторяет его.
2. Ручной контроль:
   • Если автоматический повтор не срабатывает, перезапуск процесса вручную.
   • Программа продолжает с последнего сохранённого изображения.
3. Контроль ошибок вручную:
   • Пропущенные шаги фиксируются и дорабатываются вручную после завершения основного цикла.

5. Возможные проблемы и их решение

1. Ошибка на этапе генерации картинки:
   • Использовать дополнительный запрос для уточнения (например, изменить стиль, формат, разрешение). По сути дополнительный промпт

2. Сбой последовательности:
   • Программа должна сохранять историю успешных шагов, чтобы при сбое начать с последнего сохранённого состояния.
3. Неполный автоматизм:
   • Полный автоматизм думаю сложно обеспечить, поэтому предусмотрен ручной контроль ключевых этапов – по хорошему буду мониторить происходяшее. Даже при условии, что софт сделает 60-80% работы на автомате – это уже хорошо. Остальное или перезапуск и повтор цикла или же своими руками

6. Итоговая цель

• Создать последовательность: Текст → Картинка → Озвучка → Монтаж.
• Обеспечить плавный процесс с минимальным количеством сбоев.
• В случае проблем иметь возможность вручную контролировать и корректировать процесс.

Еще проблемы с которыми сталкивался, чат в 90% случав выдавал мне формат webp (если не ошибаюсь) и не сохранял с нужным названием) Хотя я просил другие форматы и названия. 

Еще одна из проблем, которую не знаю как описать. Нужно совместить автоматизацию и ручной режим.   Когда я єкспереиентировал и делал 2 часовую историю, то сразу нумеровал абзацы и потом соглавно нумерации абзацев сохранял картинки под такми же номером. Здесь тоже что-то подобное нужно сделать, чтоб можно было понимать, что именно нужно доделать и переделать