Seedance 2.0 : une image de référence en première image

Seedance 2.0 vous oblige à choisir. Vous pouvez lui confier une première image exacte, ou lui confier des images de référence pour votre personnage, votre décor et vos couleurs. Envoyez les deux et la requête échoue.

Il existe un contournement documenté, et il tient en une ligne de prompt. Il marche mieux que ne le laisse entendre la documentation de ByteDance, et la plupart du temps vous n'en avez pas besoin du tout.

Pourquoi ne peut-on pas combiner première image et images de référence ?

Seedance 2.0 accepte les entrées de trois façons, qui ne se mélangent pas. Il y a le texte vers vidéo. Il y a l'image vers vidéo, où vous fournissez une première image et éventuellement une dernière. Et il y a la référence omni, où vous joignez jusqu'à neuf images, trois vidéos et trois pistes audio et laissez le modèle puiser dans l'ensemble.

Il faut choisir. La documentation de ByteDance les présente comme des scénarios distincts, chacun sélectionné par le role que vous attribuez aux fichiers joints : first_frame et last_frame pour l'image vers vidéo, reference_image, reference_video et reference_audio pour la référence omni. Ils ne se combinent pas. Envoyez une image de première image en même temps que des images de référence et la requête est rejetée.

C'est un problème, parce qu'un vrai plan a généralement besoin des deux moitiés. Vous avez un personnage qui doit rester identique à la scène précédente, un décor déjà établi, un traitement colorimétrique à respecter, et vous savez en plus exactement à quoi doit ressembler l'image d'ouverture. L'API vous fait renoncer à l'un ou à l'autre.

La documentation propose bien une issue. Elle figure sous « Usage avancé » dans le tutoriel de la série Seedance 2.0 : « Pour la génération vidéo avec référence omni, vous pouvez spécifier des images de référence comme première/dernière image via les prompts afin d'obtenir indirectement l'effet "première et dernière images + référence omni". » Puis elle prend ses précautions : si vous avez besoin que les images correspondent strictement à celles que vous avez fournies, utilisez l'image vers vidéo.

C'est cette précaution que nous avons voulu éprouver. Tous les guides Seedance tiers que nous avons trouvés répètent la syntaxe ; aucun n'avait vérifié ce qu'elle produit réellement.

Comment définir une image de référence comme première image ?

Joignez tout en tant qu'image de référence, y compris celle sur laquelle vous voulez ouvrir. Puis nommez celle-là dans votre prompt.

Voici le dispositif que nous avons utilisé. Quatre images, jointes dans cet ordre :

Et le prompt :

@Image 4 as the first frame. The courier arrives at a late-night noodle stall and hands the parcel to the vendor. @Image 1 is the character reference - keep the face, hair and jacket exactly as shown. @Image 2 is the noodle stall - match its awning, lanterns and signage. @Image 3 is the colour and lighting reference - match its palette. Rain falls steadily throughout. No subtitles, no captions, no watermark, no logo.

Ce qui donne ceci :

Le plan ouvre sur le colis, et le coursier, l'échoppe et la palette survivent tous à ses côtés.

Le numéro désigne la position de l'image dans la liste que vous envoyez, pas un nom que vous lui donnez. @Image 4, c'est la quatrième image de la requête : si l'ordre change, la ligne pointe vers une autre photo.

Placez la ligne au début. C'est là que nous l'avons mise à chaque exécution testée, donc nous ne pouvons pas vous dire si elle survit enfouie au milieu du prompt.

Récupère-t-on vraiment son image exacte ?

L'une de ces deux images est la référence que nous avons fournie. L'autre est la première image que Seedance en a générée.

Tout ce qui ne bouge pas est revenu identique : les plis du papier, la façon dont la ficelle se croise et se noue, la position des doigts, le bokeh à l'arrière. La seule différence, c'est la pluie, et elle ne peut qu'être différente : c'est la première image d'un plan en mouvement et les gouttes sont en vol.

Le mot employé par ByteDance est « indirectement », ce qui laisse penser qu'on obtiendrait la bonne idée et à peu près le bon cadre. Nous avons récupéré la photo. Si votre image d'ouverture doit être une image précise, cette voie vous y mène sans renoncer à vos autres références.

Pour le cas le plus strict, nous suivrions quand même le conseil de la documentation. Si l'image d'ouverture doit se raccorder sans couture à la dernière image du plan précédent, là où quelques pixels de dérive se verraient comme un faux raccord, utilisez l'image vers vidéo et acceptez de perdre vos références. Pour tout le reste, ceci suffit.

Quand cela compte-t-il vraiment ?

La ligne gagne sa place dès que plus d'une de vos images pourrait plausiblement faire le plan d'ouverture.

Dans notre dispositif à quatre images, l'échoppe de nouilles est une candidate légitime : c'est un lieu, c'est une scène, et le prompt décrit précisément l'arrivée là-bas. Sans la ligne sur la première image, le plan ouvrait sur l'échoppe. Le macro du colis que nous voulions vraiment était ignoré.

Ajoutez la ligne et cela s'inverse.

La ligne n'est donc pas un interrupteur qui activerait le contrôle de la première image. Elle tranche une compétition, et elle ne travaille que lorsque deux images ou plus peuvent raisonnablement revendiquer le plan d'ouverture. Avec un seul candidat, vous pouvez l'omettre. Avec deux ou plus, l'omettre revient à laisser le modèle choisir à votre place.

La formulation exacte compte-t-elle ?

Nous avons testé trois manières de le dire :

Chacune remplaçait la ligne d'ouverture ; le reste du prompt était identique à chaque fois.

Aucune différence. Décrire l'image en détail n'a rien changé, et ordonner au modèle de ne pas s'en écarter n'a rien changé non plus. Ce qui comptait, c'était de nommer l'image, tout simplement.

Prenez la courte.

Quand n'a-t-on pas besoin de cette ligne du tout ?

Avec une seule image susceptible d'ouvrir le plan, inutile de le dire au modèle. Pour le vérifier, nous avons lancé une version où nous joignions une image sans jamais la mentionner. Le même texte de prompt dans les deux bras, mot pour mot, sans aucune référence à un angle de caméra ou à un lieu. La seule différence tenait à la présence ou non de cette image supplémentaire dans la requête.

Le prompt, identique dans les deux bras :

The courier makes a late delivery in the rain-slick neon district at night. @Image 1 is the character reference - keep the face, hair and jacket exactly as shown. @Image 2 is the colour and lighting reference - match its palette. Rain falls steadily and the courier moves through the scene. No subtitles, no captions, no watermark, no logo.

Rien n'y décrit le plan aérien, et rien n'y nomme le moindre angle de caméra.

Sans cette image, le plan ouvrait à hauteur d'yeux, dans la rue, de la manière la plus évidente. Avec elle jointe et jamais nommée, il ouvrait en surplomb, depuis la position aérienne exacte de la référence : un angle que rien dans le prompt n'avait demandé.

Joindre une image de référence suffit donc, à soi seul, à fixer votre plan d'ouverture. Si le plan sur lequel vous voulez ouvrir est la seule image à allure de scène que vous joignez, la ligne sur la première image vous vend quelque chose que vous avez déjà.

Et si vous joignez une image sans jamais la mentionner ?

C'est le même constat que ci-dessus, tourné vers votre flux de travail.

Une image jointe pour une raison peut orienter une tout autre partie de la génération. Ajoutez une planche couleur pour sa palette : si elle se lit comme une scène, elle peut emporter le plan d'ouverture avec elle, sans être nommée nulle part dans le prompt.

Deux choses aident. Nommez votre image d'ouverture dès qu'une autre image à allure de scène figure dans la requête, et retirez les références dont vous n'avez pas besoin. Chaque image en trop est un candidat de plus pour une tâche que vous n'avez pas confiée.

Les limites de ce constat

Tout ceci concerne Seedance 2.0, une scène par test, des prompts en anglais. Seedance 2.5 documente la même restriction mais nous ne l'avons pas mesurée. Et nous avons confirmé que les autres références survivent aux côtés d'une première image nommée sur une scène, ce qui suffit à dire que ça ne casse pas par défaut, et ne suffit pas à promettre que ça n'arrive jamais.

La recette

1. Joignez chaque image en tant qu'image de référence, y compris votre plan d'ouverture.
2. Notez la position de celle sur laquelle vous voulez ouvrir. Le numéro, c'est sa place dans la requête.
3. Si une autre image jointe peut se lire comme une scène, ajoutez @Image N as the first frame. au début de votre prompt.
4. Retirez toute référence dont vous n'avez pas réellement besoin. Chaque image en trop est candidate à un rôle que vous n'aviez pas prévu.

Sur Pixo, les références sont jointes dans l'ordre où vous les ajoutez : la numérotation suit donc ce que vous voyez dans l'espace de travail du plan. Un coup d'œil avant de générer vaut la peine si vous nommez une image précise. Si vous découvrez le modèle, notre guide complet de Seedance 2.0 couvre ses autres modes d'entrée, et le guide des prompts de réalisateur creuse le langage de plan. Vous pouvez essayer Seedance 2.0 sur Pixo avec tout cela déjà en place.