Seedance 2.0: リファレンス画像をファーストフレームにする方法
Seedance 2.0 はファーストフレーム画像とリファレンス画像を同時に指定できません。公式が示す回避策はプロンプト1行。実際に効くのか検証しました。
Seedance 2.0 は二者択一を迫ります。正確なファーストフレームを渡すか、キャラクター・ロケーション・色のリファレンス画像を渡すか。両方を送るとリクエストは失敗します。
これを回避する方法はドキュメントに書かれていて、必要なのはプロンプト1行です。しかも ByteDance 自身のドキュメントが示唆するよりよく効き、そして多くの場合そもそも必要ありません。
なぜファーストフレームとリファレンス画像を併用できないのか
Seedance 2.0 には入力の受け取り方が3種類あり、混ぜることはできません。テキストから動画。画像から動画（ファーストフレームを渡し、必要ならラストフレームも渡す）。そしてオムニリファレンス（画像を最大9枚、動画を3本、音声を3本まで添付し、モデルにそのすべてを参照させる）です。
どれか1つを選びます。ByteDance のドキュメントはこれらを別々のシナリオとして並べており、添付した各アセットに設定する role で選択されます。画像から動画なら first_frame と last_frame、オムニリファレンスなら reference_image、reference_video、reference_audio です。これらは組み合わせられません。ファーストフレーム画像をリファレンス画像と一緒に送れば、リクエストは拒否されます。
これは困ります。実際のショットはたいてい両方を必要とするからです。前のシーンと同じ見た目でなければならないキャラクターがいて、すでに確立したロケーションがあり、合わせたい色調があり、そのうえで冒頭のフレームがどうあるべきかもはっきりわかっている。API はそのどちらかを諦めろと言ってきます。
ドキュメントは抜け道も示しています。Seedance 2.0 シリーズのチュートリアルの「応用的な使い方」の項です。「オムニリファレンスの動画生成では、プロンプトでリファレンス画像をファースト/ラストフレームとして指定することで、『始点・終点フレーム + オムニリファレンス』の効果を間接的に実現できます」。そのうえで留保をつけます。渡した画像とフレームを厳密に一致させる必要があるなら、画像から動画を使いなさい、と。
私たちが検証したのは、この留保の部分です。見つけた限りの第三者製 Seedance ガイドはどれもこの書き方を繰り返していますが、実際に何が出てくるのかを確かめたものは1つもありませんでした。
リファレンス画像をファーストフレームに指定するには
冒頭に使いたい1枚も含めて、すべてをリファレンス画像として添付します。そのうえで、その1枚をプロンプトで名指しします。
私たちが使った構成です。4枚の画像を、この順で添付しました。
プロンプトはこちらです。
@Image 4 as the first frame. The courier arrives at a late-night noodle stall and hands the parcel to the vendor. @Image 1 is the character reference - keep the face, hair and jacket exactly as shown. @Image 2 is the noodle stall - match its awning, lanterns and signage. @Image 3 is the colour and lighting reference - match its palette. Rain falls steadily throughout. No subtitles, no captions, no watermark, no logo.
結果はこうなりました。
小包で始まり、しかも配達員も屋台も色調もすべて一緒に残っています。
この数字は、あなたが送ったリストの中でのその画像の位置を指すもので、あなたが付けた名前ではありません。@Image 4 はリクエストの4枚目という意味なので、順番が変われば、この一文は別の画像を指すことになります。
この一文は先頭に置いてください。検証したすべての実行で先頭に置いたため、プロンプトの途中に埋め込んでも効くかどうかはお伝えできません。
本当に指定した画像そのものが返ってくるのか
この2つのフレームのうち、一方は私たちが渡したリファレンス画像で、もう一方はそこから Seedance が生成したファーストフレームです。
動いていないものはすべて同じまま返ってきました。紙のしわ、ひもの交差と結び目、指の位置、背後のボケ。違うのは雨だけで、それは違わざるを得ません。これは動く映像のファーストフレームであり、雨粒は落下の途中だからです。
ByteDance が使う言葉は「間接的に」です。だいたいの意図と、だいたいの構図が返ってくる、という響きがあります。しかし返ってきたのは、その画像そのものでした。冒頭のフレームが特定の画像でなければならないなら、この方法なら他のリファレンスを諦めずにそこへ到達できます。
いちばん厳しいケースでは、それでもドキュメントの助言に従います。冒頭のフレームが前のクリップのラストフレームに継ぎ目なくつながる必要があり、数ピクセルのずれがジャンプカットとして見えてしまうのなら、画像から動画を使い、リファレンスを失うことを受け入れてください。それ以外なら、この方法で足ります。
実際に効いてくるのはどんなときか
この一文が価値を持つのは、添付した画像のうち複数が冒頭ショットになり得るときです。
私たちの4枚構成では、ラーメン屋台はもっともらしい候補です。場所であり、シーンであり、しかもプロンプトはそこへ到着することを描写しています。ファーストフレームの一文を書かないと、クリップは屋台で始まりました。本当に欲しかった小包のマクロは無視されたのです。
一文を足すと、これが逆転します。
ファーストフレームの一文なし
一文を追加
つまりこの一文は、ファーストフレーム制御を有効にするスイッチではありません。競合を裁定するものであり、2枚以上の画像が冒頭ショットを正当に主張できるときにだけ仕事をします。候補が1枚なら省いてかまいません。2枚以上なら、省くということはモデルに選ばせるということです。
言い回しは結果を変えるのか
3通りの書き方を試しました。
| 実際に書いた文 | 結果 |
|---|---|
| "@Image 4 as the first frame." | 意図した画像で始まった |
| "The video opens exactly on @Image 4 - an extreme macro of rain striking a brown paper parcel tied with red twine, held in two black-gloved hands, background blurred to neon bokeh. Hold that framing for a beat." | 意図した画像で始まった |
| "The first frame must be @Image 4 - identical composition, framing and lighting. Do not reinterpret it." | 意図した画像で始まった |
いずれも冒頭の一文を差し替えたもので、プロンプトの残りは毎回まったく同じです。
差はありませんでした。画像を細かく描写しても何も変わらず、逸脱するなと命じても何も変わりませんでした。効いたのは、その画像を名指ししたかどうかだけです。
短いものを使ってください。
そもそもこの一文が要らないのはどんなときか
冒頭になり得る画像が1枚しかないなら、モデルに言う必要はありません。それを確かめるため、画像を添付したうえでプロンプトでは一切触れない、という条件も回してみました。両方の条件でプロンプトは一言一句同じで、カメラアングルにも場所にも触れていません。違いは、その1枚がリクエストに入っているかどうかだけです。
両方の条件で同一のプロンプトです。
The courier makes a late delivery in the rain-slick neon district at night. @Image 1 is the character reference - keep the face, hair and jacket exactly as shown. @Image 2 is the colour and lighting reference - match its palette. Rain falls steadily and the courier moves through the scene. No subtitles, no captions, no watermark, no logo.
この中に空撮を描写した箇所はなく、カメラアングルに触れた箇所もまったくありません。
その画像がないとき、クリップは目線の高さの路上から、ごく素直に始まりました。添付したうえで一度も名指ししないと、頭上から、しかもリファレンスとまったく同じ空撮位置から始まりました。プロンプトが一度も求めていないカメラアングルです。
空撮画像を添付しない
空撮画像を添付、ただし言及なし
つまりリファレンス画像を添付すること自体が、冒頭ショットを決めるのに十分だということです。冒頭に使いたいショットが、添付する中で唯一シーンらしい画像なのであれば、ファーストフレームの一文は、すでに持っているものを買い直しているにすぎません。
添付したのに一度も言及しなかったら
これは上と同じ発見を、あなたのワークフローの側から見たものです。
ある理由で添付した画像が、生成の別の部分を動かしてしまうことがあります。色調のために色のリファレンスを足したとして、それがシーンとして読めるなら、プロンプトのどこにも名前がないまま冒頭ショットまで持っていってしまうかもしれません。
対策は2つです。シーンらしい画像が他にもリクエストに入っているときは必ず冒頭の画像を名指しすること。そして要らないリファレンスは外すこと。画像が1枚増えるたびに、あなたが割り当てていない仕事の候補が1つ増えます。
この結論が当てはまらないかもしれない範囲
ここまではすべて Seedance 2.0、1回の検証につき1シーン、英語のプロンプトでの話です。Seedance 2.5 も同じ制約を記載していますが、私たちは計測していません。また、名指ししたファーストフレームと他のリファレンスが両立することを確認できたのは1シーンだけで、それは既定で壊れるわけではないと言うには十分ですが、決して起きないと約束するには足りません。
手順
- 冒頭のショットも含め、すべての画像をリファレンス画像として添付する。
- 冒頭に使いたい1枚の位置を控える。その番号がリクエスト内での枠になる。
- 他に添付した画像でシーンとして読まれうるものがあるなら、プロンプトの先頭に
@Image N as the first frame.を足す。 - 本当に必要でないリファレンスは外す。画像が1枚増えるたびに、意図していない役割の候補が1つ増える。
Pixo ではリファレンスは追加した順に添付されるので、番号はショットのワークスペースで見えている並びどおりになります。特定のフレームを名指しするなら、生成前に一度確認する価値があります。このモデルが初めてなら、Seedance 2.0 完全ガイドが残りの入力モードを、ディレクター視点のプロンプトガイドがショットの言語をより深く扱っています。Pixo で Seedance 2.0 を試すと、ここまでの内容がすべて設定済みの状態で使えます。
