Обзор Google Flow Music: песни, видео и синхронизация губ

В наших тестах Google Flow Music создал оригинальные песни и видео в 720p, которые можно скачать. В последующих роликах сохранялись узнаваемая певица и обстановка, но при просмотре движения рта не всегда совпадали с вокалом. Также мы столкнулись с отказами из-за нехватки кредитов, хотя оценочная стоимость была ниже отображаемого баланса.

Для поиска идей песен и коротких визуальных последовательностей результаты оказались полезными. Для законченного видео с поющей исполнительницей нам нужна была бы более точная синхронизация.

Песня и задание для видео

Flow Music поддерживает создание и редактирование песен и встроенную генерацию музыкальных видео. Мы создали Let the Morning In — инди-поп-композицию с ведущим женским вокалом и такими оригинальными начальными строками:

I open the window, let the morning in
Shake off the shadows, feel the light again
Step through the doorway, leave the night behind
I open the window, let the morning in

В исходном задании женщина должна была петь в камеру, а затем открыть окно. Мы выбрали горизонтальный формат 16:9 в 720p, добавили референс персонажа и отключили текст поверх видео.

Первая попытка: поза из референса сохранилась

В первом результате женщина сидела с кружкой, после чего следовал отдельный план окна. Ни запрошенного пения, ни того, как она открывает окно, в ролике не было.

На нашем референсном изображении тоже была сидящая женщина с кружкой, поэтому оно плохо подходило для нужного действия. В следующих попытках мы исправили этот исходный материал.

Наше подтверждение в чате стало отображаемым промптом видео

В предложении Flow Music женщина пела в камеру и открывала окно. Мы одобрили предложение таким ответом в чате:

Затем в поле Prompt готового видео появился тот же ответ, слово в слово, вместо подробного задания с пением и открыванием окна:

Видимая запись показывает, что наше подтверждение использовалось как отображаемый промпт видео. Это может помочь объяснить отсутствие нужного исполнения, но не позволяет установить, получила ли модель дополнительные инструкции и что стало причиной неудачи.

Следующие попытки: пение появилось, но синхронизацию нужно доработать

Мы заменили референс на изображение женщины, стоящей у окна, упростили задачу до пения и повторили полное задание в финальном подтверждении:

Один непрерывный крупный план. Она явно поёт первые строки прямо в камеру, активно двигая губами и челюстью. Без кружки, питья и перебивок.

В результатах были выразительные движения рта и узнаваемая исполнительница, но при просмотре мы обнаружили расхождения по времени с вокалом.

Более длинная попытка дала несколько планов исполнения. Для нашей задачи синхронизация всё ещё требовала доработки.

В длительность сохранённых файлов входят финальные заставки с брендом. Между попытками мы меняли и референс, и инструкции, поэтому не можем приписать улучшение какому-то одному изменению.

Кредиты: часть запросов с подходящей стоимостью была отклонена

У завершённых генераций изменение баланса соответствовало указанной стоимости. Однако другие запросы отклонялись, хотя их оценочная стоимость была ниже отображаемого баланса:

При отклонённой попытке на 34 секунды интерфейс показывал «Not enough credits», а ассистент сразу же утверждал, что генерация началась. Это произошло до успешного рендера на 30 секунд в том же разговоре.

В руководстве Google по подпискам сказано, что базовые функции доступны бесплатно; платные планы добавляют кредиты, генерации и доступ к новейшим моделям. На странице тарифов указан план Free, но изученные нами страницы не объясняют условие «Members get one free video» из сообщения об отказе. Мы не смогли установить, какое правило расходования кредитов или допуска к генерации вызвало эти отказы.

Можно ли сделать видео на всю песню?

Тридцать секунд — самый длинный запрос, принятый этим аккаунтом, а не установленное ограничение всего продукта. При знакомстве с сервисом рекламировались видео длительностью до двух минут. Когда мы запросили ролик на всю нашу песню длительностью 155,1 секунды, Flow Music предложил две части:

Для этой песни на 2 минуты 35 секунд предложенный процесс требовал двух рендеров и их последующей склейки. Всего было заявлено 1 939 кредитов, но мы не проверили эту стоимость на практике и не завершили видео на всю песню.

Опишите желаемое видео…

Pixo

Создавайте ИИ-видео с Pixo

Превратите идею в видео, готовое к публикации. Достаточно одного предложения.

Начать создавать

Для чего мы бы использовали Flow Music

Flow Music создал оригинальные треки, многоразовые референсы персонажей и доступные для скачивания видео в одном приложении.

Для синхронного пения наши примеры требовали доработки. Если это ваша цель, сначала протестируйте короткий фрагмент с чётким вокалом и подходящим референсом. Сравните движения рта с произносимыми словами, прежде чем переходить к более длинной работе. Если запрос отклонён при, казалось бы, достаточном балансе, уточните правила использования кредитов, прежде чем рассчитывать, что пополнение решит проблему.