Seedance 2.0: imagem de referência como primeiro quadro

O Seedance 2.0 obriga você a escolher. Você pode entregar um primeiro quadro exato, ou pode entregar imagens de referência para o seu personagem, o seu cenário e a sua cor. Envie os dois e a requisição falha.

Existe um caminho documentado para contornar isso, e ele cabe em uma linha de prompt. Funciona melhor do que a própria documentação da ByteDance sugere e, na maior parte do tempo, você não precisa dele.

Por que não dá para usar primeiro quadro e imagens de referência juntos?

O Seedance 2.0 tem três formas de receber entrada, e elas não se misturam. Há texto para vídeo. Há imagem para vídeo, em que você fornece um primeiro quadro e, opcionalmente, um último. E há a referência omni, em que você anexa até nove imagens, três vídeos e três áudios e deixa o modelo beber de todos eles.

Escolha um. A documentação da ByteDance lista os três como cenários separados, cada um selecionado pelo role que você define nos arquivos anexados: first_frame e last_frame para imagem para vídeo; reference_image, reference_video e reference_audio para referência omni. Eles não se combinam. Envie uma imagem de primeiro quadro junto com imagens de referência e a requisição é rejeitada.

Isso é um problema, porque planos reais costumam precisar das duas metades. Você tem um personagem que precisa continuar igual à cena anterior, um cenário já estabelecido, um tratamento de cor a igualar, e ainda sabe exatamente como o quadro de abertura deveria ser. A API faz você abrir mão de um ou de outro.

A documentação até oferece uma saída. Ela está em "Uso avançado", no tutorial da série Seedance 2.0: "Para geração de vídeo com referência omni, você pode especificar imagens de referência como primeiro/último quadro via prompts para alcançar indiretamente o efeito de 'primeiro e último quadros + referência omni'." Em seguida ela se resguarda: se você precisa que os quadros correspondam estritamente às imagens fornecidas, use imagem para vídeo.

É essa ressalva que fomos testar. Todos os guias de Seedance de terceiros que encontramos repetem a sintaxe; nenhum tinha verificado o que ela produz de fato.

Como definir uma imagem de referência como primeiro quadro?

Anexe tudo como imagem de referência, inclusive aquela com que você quer abrir. Depois nomeie essa no seu prompt.

Este foi o arranjo que usamos. Quatro imagens, anexadas nesta ordem:

E o prompt:

@Image 4 as the first frame. The courier arrives at a late-night noodle stall and hands the parcel to the vendor. @Image 1 is the character reference - keep the face, hair and jacket exactly as shown. @Image 2 is the noodle stall - match its awning, lanterns and signage. @Image 3 is the colour and lighting reference - match its palette. Rain falls steadily throughout. No subtitles, no captions, no watermark, no logo.

Que produz isto:

Abre no pacote, e o entregador, a barraca e a paleta sobrevivem todos ao lado dele.

O número se refere à posição da imagem na lista que você envia, não a um nome que você atribui. @Image 4 é a quarta imagem da requisição, então se a ordem mudar, a linha passa a apontar para outra foto.

Coloque a linha no começo. Foi ali que a colocamos em todas as execuções testadas, então não podemos dizer se ela sobrevive enterrada no meio do prompt.

Você realmente recebe a sua imagem exata de volta?

Um destes dois quadros é a imagem de referência que fornecemos. O outro é o primeiro quadro que o Seedance gerou a partir dela.

Tudo o que não se move voltou igual: os vincos do papel, o modo como o barbante cruza e dá o nó, a posição dos dedos, o bokeh ao fundo. A única diferença é a chuva, e ela tem que diferir: este é o primeiro quadro de um clipe em movimento e as gotas estão em queda.

A palavra que a ByteDance usa para isso é "indiretamente", o que sugere que você teria a ideia certa e mais ou menos a composição certa. Nós recebemos a foto de volta. Se o seu quadro de abertura precisa ser uma imagem específica, este caminho leva você até lá sem abrir mão das outras referências.

No caso mais rigoroso ainda seguiríamos o conselho da documentação. Se o quadro de abertura precisa emendar sem costura no último quadro de um clipe anterior, onde alguns pixels de desvio apareceriam como um corte seco, use imagem para vídeo e aceite perder as referências. Para tudo aquém disso, isto resolve.

Quando isso realmente importa?

A linha se paga quando mais de uma das suas imagens poderia plausivelmente ser o plano de abertura.

No nosso arranjo de quatro imagens, a barraca de macarrão é uma candidata legítima: é um local, é uma cena, e o prompt descreve justamente chegar lá. Sem a linha do primeiro quadro, o clipe abria na barraca. O close do pacote que realmente queríamos era ignorado.

Acrescente a linha e a coisa se inverte.

Ou seja, a linha não é um interruptor que liga o controle do primeiro quadro. Ela resolve uma disputa, e só trabalha quando duas ou mais imagens podem razoavelmente reivindicar o plano de abertura. Com um candidato só, dá para omitir. Com dois ou mais, omitir significa deixar o modelo escolher por você.

A redação exata importa?

Testamos três formas de dizer:

Cada uma delas substituiu a linha de abertura; o resto do prompt foi idêntico em todas as vezes.

Nenhuma diferença. Descrever a imagem em detalhe não mudou nada, e mandar o modelo não se desviar também não mudou nada. O que importou foi nomear a imagem.

Use a curta.

Quando você não precisa da linha?

Com apenas uma imagem capaz de abrir o plano, o modelo não precisa ser avisado. Para conferir isso, rodamos uma versão em que anexávamos uma imagem e nunca a mencionávamos. O mesmo texto de prompt nos dois braços, palavra por palavra, sem nenhuma referência a ângulo de câmera ou local. A única diferença era se aquela imagem extra estava na requisição.

O prompt, idêntico nos dois braços:

The courier makes a late delivery in the rain-slick neon district at night. @Image 1 is the character reference - keep the face, hair and jacket exactly as shown. @Image 2 is the colour and lighting reference - match its palette. Rain falls steadily and the courier moves through the scene. No subtitles, no captions, no watermark, no logo.

Nada nele descreve o plano aéreo, nem nomeia qualquer ângulo de câmera.

Sem aquela imagem, o clipe abria na altura dos olhos, na rua, do jeito óbvio. Com ela anexada e nunca nomeada, abria do alto, exatamente da posição aérea da referência: um ângulo de câmera que nada no prompt havia pedido.

Portanto, anexar uma imagem de referência já basta, por si só, para definir o seu plano de abertura. Se o plano com que você quer abrir é a única imagem com cara de cena que você está anexando, a linha do primeiro quadro está lhe vendendo algo que você já tem.

E se você anexar uma imagem e nunca mencioná-la?

Esta é a mesma descoberta acima, apontada para o seu fluxo de trabalho.

Uma imagem anexada por um motivo pode conduzir uma outra parte da geração. Acrescente uma cartela de cor pela paleta e, se ela for lida como cena, pode levar o plano de abertura junto, sem ser nomeada em lugar nenhum do prompt.

Duas coisas ajudam. Nomeie a sua imagem de abertura sempre que houver outra imagem com cara de cena na requisição, e descarte as referências de que você não precisa. Cada imagem a mais é mais um candidato a um trabalho que você não atribuiu.

Onde isso pode não valer

Tudo isto é Seedance 2.0, uma cena por teste, prompts em inglês. O Seedance 2.5 documenta a mesma restrição, mas não a medimos. E confirmamos que as outras referências sobrevivem ao lado de um primeiro quadro nomeado em uma cena, o que basta para dizer que não quebra por padrão e não basta para prometer que nunca acontece.

A receita

1. Anexe todas as imagens como imagem de referência, inclusive o seu plano de abertura.
2. Anote a posição daquela com que você quer abrir. O número é a vaga dela na requisição.
3. Se qualquer outra imagem anexada puder ser lida como cena, acrescente @Image N as the first frame. no começo do seu prompt.
4. Descarte qualquer referência de que você não precise de verdade. Cada imagem a mais é candidata a um papel que você não pretendia.

No Pixo, as referências são anexadas na ordem em que você as adiciona, então a numeração segue o que você vê no espaço de trabalho do plano. Vale uma olhada antes de gerar se você for nomear um quadro específico. Se o modelo é novo para você, nosso guia completo do Seedance 2.0 cobre os demais modos de entrada, e o guia de prompts de direção se aprofunda na linguagem de plano. Você pode testar o Seedance 2.0 no Pixo com tudo isso já configurado.