Seedance 2.0: 레퍼런스 이미지를 첫 프레임으로 쓰는 법

Seedance 2.0은 둘 중 하나를 고르게 합니다. 정확한 첫 프레임을 넘기거나, 캐릭터·장소·색을 위한 레퍼런스 이미지를 넘기거나. 둘 다 보내면 요청은 실패합니다.

이를 우회하는 방법이 문서에 있고, 필요한 것은 프롬프트 한 줄입니다. ByteDance 자신의 문서가 암시하는 것보다 잘 듣고, 그리고 대부분의 경우 애초에 필요하지 않습니다.

왜 첫 프레임과 레퍼런스 이미지를 함께 쓸 수 없나

Seedance 2.0에는 입력을 받는 방식이 세 가지 있고, 서로 섞이지 않습니다. 텍스트-투-비디오가 있습니다. 첫 프레임을, 원한다면 마지막 프레임까지 주는 이미지-투-비디오가 있습니다. 그리고 이미지 최대 9장, 영상 3개, 오디오 3개를 첨부해 모델이 그 전부를 참고하게 하는 옴니 레퍼런스가 있습니다.

하나를 고르세요. ByteDance 문서는 이들을 별개의 시나리오로 나열하며, 첨부한 각 자산에 지정하는 role로 선택됩니다. 이미지-투-비디오는 first_frame과 last_frame, 옴니 레퍼런스는 reference_image, reference_video, reference_audio입니다. 이들은 결합되지 않습니다. 첫 프레임 이미지를 레퍼런스 이미지와 함께 보내면 요청은 거부됩니다.

이건 문제입니다. 실제 샷은 대개 양쪽 모두를 필요로 하기 때문입니다. 직전 장면과 똑같아야 하는 캐릭터가 있고, 이미 확립한 장소가 있고, 맞춰야 할 색 톤이 있는데, 시작 프레임이 어때야 하는지도 정확히 알고 있습니다. API는 그중 하나를 포기하라고 합니다.

문서는 빠져나갈 길도 제시합니다. Seedance 2.0 시리즈 튜토리얼의 "고급 사용법" 항목입니다. "옴니 레퍼런스 영상 생성에서는 프롬프트를 통해 레퍼런스 이미지를 첫/마지막 프레임으로 지정하여 '첫·마지막 프레임 + 옴니 레퍼런스'의 효과를 간접적으로 얻을 수 있습니다." 그러고는 단서를 답니다. 제공한 이미지와 프레임이 엄격히 일치해야 한다면 이미지-투-비디오를 쓰라고요.

저희가 검증하려 한 것이 바로 이 단서입니다. 저희가 찾은 서드파티 Seedance 가이드는 하나같이 이 문법을 되풀이하지만, 실제로 무엇이 나오는지 확인한 곳은 하나도 없었습니다.

레퍼런스 이미지를 첫 프레임으로 지정하는 법

시작에 쓰고 싶은 한 장까지 포함해 전부를 레퍼런스 이미지로 첨부합니다. 그런 다음 그 한 장을 프롬프트에서 지목합니다.

저희가 쓴 구성입니다. 이미지 네 장을 이 순서로 첨부했습니다.

프롬프트는 이렇습니다.

@Image 4 as the first frame. The courier arrives at a late-night noodle stall and hands the parcel to the vendor. @Image 1 is the character reference - keep the face, hair and jacket exactly as shown. @Image 2 is the noodle stall - match its awning, lanterns and signage. @Image 3 is the colour and lighting reference - match its palette. Rain falls steadily throughout. No subtitles, no captions, no watermark, no logo.

결과는 이렇습니다.

소포로 시작하고, 배달원과 노점과 색감이 모두 함께 살아남았습니다.

이 숫자는 여러분이 보낸 목록에서 그 이미지가 놓인 위치를 가리키는 것이지, 여러분이 붙인 이름이 아닙니다. @Image 4는 요청의 네 번째 이미지라는 뜻이므로, 순서가 바뀌면 이 문장은 다른 그림을 가리키게 됩니다.

이 문장은 맨 앞에 두세요. 저희는 테스트한 모든 실행에서 맨 앞에 두었으므로, 프롬프트 중간에 묻어도 살아남는지는 말씀드릴 수 없습니다.

정말 그 이미지 그대로가 돌아오나

이 두 프레임 중 하나는 저희가 제공한 레퍼런스 이미지이고, 다른 하나는 Seedance가 그것으로 생성한 첫 프레임입니다.

움직이지 않는 것은 전부 그대로 돌아왔습니다. 종이의 주름, 노끈이 교차하고 매듭지는 방식, 손가락의 위치, 뒤편의 보케까지. 유일한 차이는 비이고, 그건 다를 수밖에 없습니다. 이건 움직이는 클립의 첫 프레임이고 빗방울은 낙하 중이니까요.

ByteDance가 쓴 단어는 "간접적으로"입니다. 대략의 의도와 대략의 구도가 돌아오리라는 뉘앙스죠. 그런데 저희에게 돌아온 것은 그 그림 자체였습니다. 시작 프레임이 특정 이미지여야 한다면, 이 경로는 다른 레퍼런스를 포기하지 않고도 거기에 도달하게 해 줍니다.

가장 엄격한 경우에는 저희도 문서의 조언을 따르겠습니다. 시작 프레임이 앞 클립의 마지막 프레임에 이음매 없이 붙어야 하고 몇 픽셀의 어긋남이 점프컷으로 보이는 상황이라면, 이미지-투-비디오를 쓰고 레퍼런스를 잃는 대가를 받아들이세요. 그 정도가 아니라면 이 방법으로 충분합니다.

실제로 중요해지는 건 언제인가

이 문장이 값을 하는 때는, 첨부한 이미지 중 둘 이상이 시작 샷이 될 만할 때입니다.

저희의 네 장 구성에서 국수 노점은 정당한 후보입니다. 장소이고, 장면이고, 프롬프트가 묘사하는 것이 바로 그곳에 도착하는 일이니까요. 첫 프레임 문장을 넣지 않으면 클립은 국수 노점으로 시작했습니다. 정작 원했던 소포 접사는 무시되었습니다.

문장을 넣으면 뒤집힙니다.

그러니 이 문장은 첫 프레임 제어를 켜는 스위치가 아닙니다. 경합을 정리하는 것이고, 이미지 둘 이상이 시작 샷을 주장할 만할 때만 일합니다. 후보가 하나면 빼도 됩니다. 둘 이상이면, 빼는 것은 모델에게 고르게 하는 것입니다.

표현이 결과를 바꾸나

세 가지 표현을 시험했습니다.

셋 다 첫 문장을 갈아 끼운 것이고, 프롬프트의 나머지는 매번 완전히 동일했습니다.

차이가 없었습니다. 이미지를 자세히 묘사해도 달라지지 않았고, 벗어나지 말라고 명령해도 달라지지 않았습니다. 작동한 것은 그 이미지를 지목했느냐 아니냐였습니다.

짧은 것을 쓰세요.

이 문장이 아예 필요 없는 때

시작이 될 만한 이미지가 하나뿐이라면 모델에게 말해 줄 필요가 없습니다. 이를 확인하려고 이미지를 첨부하되 프롬프트에서는 전혀 언급하지 않는 조건도 돌렸습니다. 두 조건의 프롬프트는 한 글자까지 같고, 카메라 앵글도 장소도 언급하지 않습니다. 차이는 그 한 장이 요청에 들어 있느냐뿐이었습니다.

두 조건에서 동일한 프롬프트입니다.

The courier makes a late delivery in the rain-slick neon district at night. @Image 1 is the character reference - keep the face, hair and jacket exactly as shown. @Image 2 is the colour and lighting reference - match its palette. Rain falls steadily and the courier moves through the scene. No subtitles, no captions, no watermark, no logo.

여기에 항공 샷을 묘사한 대목은 없고, 카메라 앵글을 언급한 대목도 전혀 없습니다.

그 이미지가 없을 때 클립은 눈높이에서, 거리에서, 뻔한 방식으로 시작했습니다. 첨부하되 한 번도 지목하지 않았을 때는 머리 위에서, 레퍼런스의 바로 그 항공 위치에서 시작했습니다. 프롬프트가 요구한 적 없는 카메라 앵글입니다.

그러니 레퍼런스 이미지를 첨부하는 것만으로도 시작 샷을 정하기에 충분합니다. 시작에 쓰고 싶은 샷이 첨부하는 것 중 유일하게 장면다운 이미지라면, 첫 프레임 문장은 이미 가진 것을 다시 사는 셈입니다.

첨부해 놓고 한 번도 언급하지 않으면

이건 위와 같은 발견을, 여러분의 작업 흐름 쪽에서 본 것입니다.

어떤 이유로 첨부한 이미지가 생성의 다른 부분을 움직일 수 있습니다. 색감을 위해 색 레퍼런스를 넣었는데 그것이 장면으로 읽힌다면, 프롬프트 어디에도 이름이 없는 채로 시작 샷까지 가져가 버릴 수 있습니다.

도움이 되는 것은 두 가지입니다. 장면다운 이미지가 요청에 또 있을 때는 반드시 시작 이미지를 지목할 것, 그리고 필요 없는 레퍼런스는 뺄 것. 이미지가 한 장 늘 때마다, 여러분이 맡기지 않은 일의 후보가 하나 늘어납니다.

이 결론이 성립하지 않을 수 있는 지점

여기까지는 전부 Seedance 2.0, 테스트당 한 장면, 영어 프롬프트 기준입니다. Seedance 2.5도 같은 제약을 문서화하고 있지만 저희는 측정하지 않았습니다. 또한 지목한 첫 프레임과 다른 레퍼런스가 공존한다는 것은 한 장면에서만 확인했습니다. 기본적으로 깨지지는 않는다고 말하기에는 충분하지만, 결코 일어나지 않는다고 약속하기에는 부족합니다.

실행 순서

1. 시작 샷을 포함해 모든 이미지를 레퍼런스 이미지로 첨부합니다.
2. 시작에 쓰고 싶은 한 장의 위치를 기억합니다. 그 숫자가 요청 안에서의 자리입니다.
3. 첨부한 다른 이미지 중 장면으로 읽힐 만한 것이 있다면, 프롬프트 맨 앞에 @Image N as the first frame. 을 넣습니다.
4. 정말로 필요하지 않은 레퍼런스는 뺍니다. 이미지가 한 장 늘 때마다 의도하지 않은 역할의 후보가 하나 늘어납니다.

Pixo에서는 레퍼런스가 추가한 순서대로 첨부되므로, 번호는 샷 작업 공간에서 보이는 순서를 따릅니다. 특정 프레임을 지목한다면 생성 전에 한 번 확인할 가치가 있습니다. 이 모델이 처음이라면 Seedance 2.0 완전 가이드가 나머지 입력 모드를 다루고, 디렉터 프롬프트 가이드가 샷 언어를 더 깊이 다룹니다. Pixo에서 Seedance 2.0을 사용해 보면 여기까지의 내용이 모두 설정된 상태로 쓸 수 있습니다.