Клонирование голоса в AI-видео: MiniMax H3 и 11 языков

Вот математика, которая убивает большинство планов локализации: одно флагманское видео, шесть рынков — и на каждом рынке спикер должен говорить на местном языке. Традиционный ответ — шесть актёров озвучки, шесть сессий дубляжа и шесть версий, где рот заметно говорит по-английски под испанской дорожкой. Субтитры дешевле — и работают соответственно.

MiniMax H3 атакует проблему со стороны генерации. Спецификация модели объединяет клонирование голоса с text-to-speech на 11 языках точно и ещё примерно 40 производных — внутри той же системы, что генерирует картинку. А значит, локализация перестаёт быть накладкой на постпродакшене и становится перегенерацией: та же сцена, то же лицо, тот же тембр голоса — другой язык, нативный липсинк. Это возможность, которой модель владеет по-настоящему: второй флагман, вышедший в тот же день, сравнялся с H3 в редактировании, но не в голосовом стеке.

Мы делаем Pixo, мультимодельную видеоплатформу, где H3 уже доступна в Playground. Вот как устроен голосовой конвейер и как его запустить.

Как складывается голосовой стек

Три возможности сцепляются друг с другом:

• Клонирование голоса. Загрузите образец голоса как аудиореференс — и сгенерированные реплики звучат этим тембром. Демонстрация в мануале обаятельно проста — девушка с ранчо произносит реплику клонированным голосом, — но механизм и есть продукт: голос становится входными данными, как лицо.
• Мультиязычный TTS. Реплика — это то, что вы напишете, на том языке, на котором напишете. Модель точно покрывает 11 языков и способна растянуться на куда больше; на Pixo точную поддержку языка для вашего рынка лучше проверить, а не предполагать.
• Нативный липсинк. Поскольку звук и картинка генерируются в один проход, рот произносит написанную вами реплику — на японском, испанском, арабском. Это то, что дубляж не сможет доклеить никогда.

Сложите их вместе — и получите рабочий процесс, в честь которого названа эта статья: клонируйте один раз, напишите реплику N раз, сгенерируйте N версий.

Рабочий процесс: один спикер, N рынков

1. Зафиксируйте спикера. Загрузите чёткий портрет — он становится Image 1 и закрепляет лицо во всех языковых версиях.
2. Добавьте образец голоса. Чистая запись голоса, на который у вас есть права, загруженная как аудиореференс (≤15MB). Помните правило: аудио никогда не идёт отдельно — оно должно сопровождать референсное изображение или видео.
3. Напишите реплику для каждого языка. Дословно, на целевом языке. Дайте текст на проверку носителю — модель произнесёт написанное вами, включая ошибки.
4. Сгенерируйте каждую версию. Тот же каркас промпта, заменённая реплика. 4–15 секунд на шот, 9:16 или 16:9, 768p для черновиков и 2K для финальной версии.
5. Проверьте носителями языка. Произношение и регистр различаются от языка к языку; послушайте перед запуском.

Два промпта для копирования

1. Мультиязычный спикер (генерируется по разу на язык)

Image 1 фиксирует лицо спикера. Audio 1 задаёт тембр голоса для клонирования.
16:9, светлый современный офисный лаундж, мягкий дневной свет. Спикер стоит лицом
к камере, расслабленно, руки свободно сложены, и говорит клонированным голосом:
«[Ваше сообщение из 2–3 предложений, написанное на целевом языке.]» Естественный
липсинк, лёгкий кивок на последнем предложении. Тихий фоновый шум помещения.
Ненарративная музыка: N/A.

Почему это работает: закреплено всё, кроме реплики, — поэтому между немецкой и японской версиями меняется только строка диалога, а именно это и нужно для консистентности бренда.

2. Локализованная реплика из драмы (меняем язык одного персонажа)

Image 1 фиксирует лицо главной героини. Audio 1 задаёт тембр её голоса.
Вертикальная сцена 9:16, дождливая ночная улица под навесом магазина, отражения
неона. Крупный план: она смотрит мимо камеры и говорит клонированным голосом,
на [целевом языке]: «[Реплика.]» Её выражение меняется с настороженного на мягкое
на последнем слове. Дождь и далёкий шум машин под диалогом. Ненарративная музыка: N/A.

Почему это работает: актёрские пометки («с настороженного на мягкое на последнем слове») переносятся между языками, даже когда меняются слова, — именно это делает десять локализаций одним фильмом.

Опишите желаемое видео…

Pixo

Создавайте ИИ-видео с Pixo

Превратите идею в видео, готовое к публикации. Достаточно одного предложения.

Начать создавать

Перегенерация vs дубляж: когда что выигрывает

Честное разделение: 40-минутное интервью — дублируйте. А для 15-секундных роликов, которые тянут платные кампании, — где рот в крупном плане и доверие и есть продукт, — выигрывает перегенерация, и это ровно та длина, которую H3 и так генерирует. Если вы гоните локализованные креативы в объёме, это естественно сочетается с рабочими процессами UGC-рекламы.

Граница согласия

Клонируйте только голоса, на которые у вас есть права: собственный, голос представителя с письменным согласием, лицензированный голос. Та же функция, что локализует голос вашего фаундера, может имитировать человека, который никогда не соглашался, — не будьте этим сценарием: FTC уже предупреждала именно о таком злоупотреблении. (Условия Pixo требуют прав на загружаемые референсы.)

Часто задаваемые вопросы

Может ли AI клонировать голос для видео?

Да. MiniMax H3 клонирует голос из референсной аудиодорожки: загрузите образец голоса вместе с референсным изображением или видео — и сгенерированные реплики звучат этим тембром, произносимые персонажем на экране, с липсинком, сгенерированным в одном проходе с картинкой.

Как одно видео превращается в одиннадцать языков?

Через перегенерацию, а не дубляж. Спецификация модели покрывает точный text-to-speech на 11 языках (и ещё примерно 40 производных). Вы сохраняете ту же сцену, того же спикера и тот же клонированный тембр, а для каждого языка меняете только написанную реплику — каждая версия генерируется с соответствующими движениями губ.

Чем это отличается от инструментов AI-дубляжа?

Инструменты дубляжа накладывают переведённую дорожку на готовый материал — рот продолжает говорить на исходном языке. Здесь голос и картинка генерируются вместе, поэтому у каждой языковой версии нативный липсинк и актёрская игра, принадлежащая именно этой реплике.

Что нужно загрузить, чтобы клонировать голос?

Две вещи: образец голоса как аудиореференс (до 15MB — аудио всегда должно сопровождать изображение или видео, никогда не идёт отдельно) и спикера как референсное изображение. Затем напишите реплику дословно на целевом языке.

Чей голос можно клонировать?

Только голос, на использование которого у вас есть права: свой собственный, голос вашего представителя с его согласия или лицензированный голос. Клонировать реальных людей без разрешения недопустимо — и юридически, и этически.

Как это попробовать?

MiniMax H3 уже доступна в Playground от Pixo — загрузите портрет и образец голоса, напишите реплику и генерируйте шоты по 4–15 секунд в 768p или 2K. Новые пользователи получают 200 бесплатных кредитов при регистрации, а на тарифы сейчас скидки до 55%.

MiniMax H3 уже доступна в Playground от Pixo — загрузите портрет и образец голоса и генерируйте локализованные шоты по 4–15 секунд в 768p или 2K. Зарегистрируйтесь сейчас — новые пользователи получают 200 бесплатных кредитов при регистрации, а на тарифы сейчас скидки до 55%. Об аудиооснове всего этого — в материале нативный звук H3.