Seedance 2.0: imagen de referencia como primer fotograma

Seedance 2.0 te obliga a elegir. Puedes darle un primer fotograma exacto, o puedes darle imágenes de referencia para tu personaje, tu localización y tu color. Envía ambas cosas y la petición falla.

Hay una vía documentada para sortearlo, y es una línea de prompt. Funciona mejor de lo que sugiere la propia documentación de ByteDance y, la mayor parte del tiempo, no la necesitas en absoluto.

¿Por qué no puedes usar un primer fotograma y referencias a la vez?

Seedance 2.0 tiene tres formas de aceptar entrada y no se mezclan. Está texto a video. Está imagen a video, donde aportas un primer fotograma y, opcionalmente, uno final. Y está la referencia omni, donde adjuntas hasta nueve imágenes, tres videos y tres audios y dejas que el modelo beba de todos ellos.

Elige uno. La documentación de ByteDance los enumera como escenarios separados, cada uno seleccionado por el role que asignas a los archivos que adjuntas: first_frame y last_frame para imagen a video; reference_image, reference_video y reference_audio para referencia omni. No se combinan. Envía una imagen de primer fotograma junto a imágenes de referencia y la petición se rechaza.

Eso es un problema, porque los planos reales suelen necesitar las dos mitades. Tienes un personaje que debe verse igual que en la escena anterior, una localización ya establecida, un tratamiento de color que estás igualando, y además sabes exactamente cómo debería ser el fotograma de apertura. La API te hace renunciar a una cosa o a la otra.

La documentación sí ofrece una salida. Aparece bajo "Uso avanzado" en el tutorial de la serie Seedance 2.0: "Para la generación de video con referencia omni, puedes especificar imágenes de referencia como primer/último fotograma mediante prompts para lograr indirectamente el efecto de 'primer y último fotograma + referencia omni'". Y acto seguido se cubre: si necesitas que los fotogramas coincidan estrictamente con las imágenes que aportaste, usa imagen a video.

Esa reserva es lo que nos propusimos comprobar. Todas las guías de Seedance de terceros que encontramos repiten la sintaxis; ninguna había verificado qué produce en realidad.

¿Cómo se fija una imagen de referencia como primer fotograma?

Adjunta todo como imagen de referencia, incluida aquella con la que quieres abrir. Después nombra esa en tu prompt.

Este es el montaje que usamos. Cuatro imágenes, adjuntas en este orden:

Y el prompt:

@Image 4 as the first frame. The courier arrives at a late-night noodle stall and hands the parcel to the vendor. @Image 1 is the character reference - keep the face, hair and jacket exactly as shown. @Image 2 is the noodle stall - match its awning, lanterns and signage. @Image 3 is the colour and lighting reference - match its palette. Rain falls steadily throughout. No subtitles, no captions, no watermark, no logo.

Que produce esto:

Abre con el paquete, y el repartidor, el puesto y la paleta sobreviven todos junto a él.

El número se refiere a la posición de la imagen en la lista que envías, no a un nombre que tú asignes. @Image 4 es la cuarta imagen de la petición, así que si cambia el orden, la línea apunta a otra fotografía.

Pon la línea al principio. Ahí es donde la pusimos en cada ejecución que probamos, así que no podemos decirte si sobrevive enterrada a mitad del prompt.

¿De verdad recuperas tu imagen exacta?

Uno de estos dos fotogramas es la imagen de referencia que aportamos. El otro es el primer fotograma que Seedance generó a partir de ella.

Todo lo que no se mueve volvió igual: los pliegues del papel, la forma en que el cordel se cruza y se anuda, la posición de los dedos, el bokeh del fondo. La única diferencia es la lluvia, que tiene que diferir: este es el primer fotograma de un clip en movimiento y las gotas están en el aire.

La palabra que usa ByteDance para esto es "indirectamente", lo que sugiere que obtendrías la idea correcta y más o menos la composición correcta. Nosotros recuperamos la fotografía. Si tu fotograma de apertura tiene que ser una imagen concreta, esta ruta te lleva allí sin renunciar a tus demás referencias.

Para el caso más estricto seguiríamos el consejo de la documentación. Si el fotograma de apertura debe empalmar sin costuras con el último fotograma de un clip anterior, donde unos pocos píxeles de deriva se verían como un salto de montaje, usa imagen a video y asume la pérdida de tus referencias. Para todo lo que no llegue a eso, esto funciona.

¿Cuándo importa de verdad?

La línea se gana el sitio cuando más de una de tus imágenes podría ser plausiblemente el plano de apertura.

En nuestro montaje de cuatro imágenes, el puesto de fideos es un candidato legítimo: es una localización, es una escena, y el prompt describe llegar allí. Sin la línea del primer fotograma, el clip abría con el puesto de fideos. El macro del paquete que en realidad queríamos se ignoraba.

Añade la línea y se da la vuelta.

Así que la línea no es un interruptor que activa el control del primer fotograma. Resuelve una disputa, y solo trabaja cuando dos o más de tus imágenes podrían reclamar razonablemente el plano de apertura. Con un solo candidato puedes omitirla. Con dos o más, omitirla significa que el modelo elige por ti.

¿Importa la redacción exacta?

Probamos tres formas de decirlo:

Cada una de ellas sustituyó la línea inicial; el resto del prompt fue idéntico en todos los casos.

Ninguna diferencia. Describir la imagen en detalle no cambió nada, y ordenarle al modelo que no se desviara tampoco cambió nada. Lo que importó fue nombrar la imagen, sin más.

Usa la corta.

¿Cuándo no necesitas la línea en absoluto?

Con una sola imagen que pudiera abrir el plano, al modelo no hace falta decírselo. Para comprobarlo, ejecutamos una versión en la que adjuntábamos una imagen y no la mencionábamos nunca. El mismo texto de prompt en ambas ramas, palabra por palabra, sin referencia a ningún ángulo de cámara ni ubicación. La única diferencia era si esa imagen extra estaba en la petición.

El prompt, idéntico en ambas ramas:

The courier makes a late delivery in the rain-slick neon district at night. @Image 1 is the character reference - keep the face, hair and jacket exactly as shown. @Image 2 is the colour and lighting reference - match its palette. Rain falls steadily and the courier moves through the scene. No subtitles, no captions, no watermark, no logo.

Nada en él describe el plano aéreo, ni nombra ángulo de cámara alguno.

Sin esa imagen, el clip abría a la altura de los ojos, en la calle, de la forma obvia. Con ella adjunta y nunca nombrada, abría desde arriba, desde la posición aérea exacta de la referencia: un ángulo de cámara que nada en el prompt había pedido.

Así que adjuntar una imagen de referencia basta, por sí solo, para fijar tu plano de apertura. Si el plano con el que quieres abrir es la única imagen con aspecto de escena que estás adjuntando, la línea del primer fotograma te está comprando algo que ya tienes.

¿Y si adjuntas una imagen y no la mencionas nunca?

Este es el mismo hallazgo de antes, apuntado a tu flujo de trabajo.

Una imagen que adjuntas por un motivo puede dirigir una parte distinta de la generación. Añade una carta de color por su paleta y, si se lee como una escena, puede llevarse consigo el plano de apertura sin aparecer nombrada en ninguna parte del prompt.

Ayudan dos cosas. Nombra tu imagen de apertura siempre que haya otra imagen con aspecto de escena en la petición, y descarta las referencias que no necesites. Cada imagen de más es otro candidato para un trabajo que no asignaste.

Dónde podría no cumplirse

Todo esto es Seedance 2.0, una escena por prueba, prompts en inglés. Seedance 2.5 documenta la misma restricción pero no la hemos medido. Y confirmamos que las demás referencias sobreviven junto a un primer fotograma nombrado en una escena, lo cual basta para decir que no se rompe por defecto y no basta para prometer que no ocurre nunca.

La receta

1. Adjunta cada imagen como imagen de referencia, incluido tu plano de apertura.
2. Anota la posición de aquella con la que quieres abrir. El número es su hueco en la petición.
3. Si cualquier otra imagen adjunta pudiera leerse como una escena, añade @Image N as the first frame. al principio de tu prompt.
4. Descarta cualquier referencia que no necesites de verdad. Cada imagen de más es candidata a un papel que no pretendías.

En Pixo, las referencias se adjuntan en el orden en que las añades, así que la numeración sigue lo que ves en el espacio de trabajo del plano. Merece un vistazo antes de generar si vas a nombrar un fotograma concreto. Si el modelo es nuevo para ti, nuestra guía completa de Seedance 2.0 cubre el resto de sus modos de entrada, y la guía de prompts de dirección profundiza en el lenguaje de plano. Puedes probar Seedance 2.0 en Pixo con todo esto ya montado.