Toolset for automated transcription, translation, and speech synthesis

Роблю схоже зараз, але частково тільки з того шо хочеться... Є ДУУУЖЕ багато нюансів. і не завжди все так добре виходить як хочеться...

Viktor Tietz 10 March 2025

благодарю за отклик. дело это не простое. у самого транскрипция с помощью Whisper'а хорошо получается, а вот для всего остального специалист нужен

Ну во первых - если материал с ютуба - то лучше тогда брать их сгенерированные титры, они будут немного получше от виспера. Во вторых синтез речи коротких фраз очень непростая штука. В третьих клонирование голоса если использовать , то лучше вручную сделать референтные голоса, просто они не всегда чистые идут на видео присутствие других звуков, таких как шипение, фоновая музыка и т.д. могут все это дело испортить.
В четвертых нужно править файл титров в части временных меток для фраз - если конечно очень сильно хочется, нужно чтобы озвучка попадала в синхонизацию с открыванием рта у говорящего. 
Ну и плюс к тому права на видео , и т.д. нюансы с этим никто не отменял.
Ну и по поводу примеров - а как вы будете обрабабывать первый пример с переводом на польском языке....??? тоже очень непонятно - толи просто проигнорируете и оставите его , толи будете делать двойной перевод?...

ну и раз уж такая пьянка, что будете делать с рефеентными голосами которые не получится получить  - или очень мало говорят, или очень шумные записи ? Надо озвучивать какими то другими ведь ? А это опять же разрешения и остальные нюансы...

Viktor Tietz 10 March 2025

материалы то они наши, с правами проблем нет. 

автор согласен, чтобы его голос синтезировался для перевода на другие языки - целесообразно это только на аудио, где в оригинале слышно только его голос -  в результате слышно должно быть только синтезированный голос на русском (в последующем и на других языках)

на видео с польским переводом напр. надо было бы накладывать перевод того, что говорит автор, на отрывки, где говирится по-польски, каким-нибудь подходящим женским голосом. накладывание voice over мы уже сами вручную сделаем. тут задача только в переводе с правильной интонацией и синтезе голоса

на видео, где автор сам по себе - то voice over подходящим мужским голосом

выходит, что нужны 3 модели голосов - одна автора, а для всех видео, где у него переводчик, одна модель женского и одна мужского голоса

я надеюсь, что есть технологии, позволяющие генерировать голоса, которые звучят естественно и без помех.

Ну в принципе есть, вот только с ссмл разметкой я не видел , чтобы был простой в обучении, и без сложностей в использовании...

А так в принципе задача реализуема, желаю удачи.  Будут вопросы - чем смогу тем погмогу...