Seedance 2.0: cách dùng ảnh tham chiếu làm khung hình đầu
Seedance 2.0 không cho gắn ảnh khung hình đầu cùng với ảnh tham chiếu. Cách lách được ghi trong tài liệu chỉ là một dòng prompt. Chúng tôi đã thử nghiệm.
Seedance 2.0 bắt bạn phải chọn. Bạn có thể đưa cho nó một khung hình đầu chính xác, hoặc đưa cho nó các ảnh tham chiếu cho nhân vật, bối cảnh và màu sắc. Gửi cả hai thì yêu cầu sẽ hỏng.
Có một lối đi vòng được ghi trong tài liệu, và nó chỉ là một dòng prompt. Nó hiệu quả hơn những gì tài liệu của chính ByteDance ám chỉ, và phần lớn thời gian bạn chẳng cần đến nó.
Vì sao không thể dùng khung hình đầu và ảnh tham chiếu cùng lúc?
Seedance 2.0 có ba cách nhận đầu vào, và chúng không trộn được với nhau. Có văn bản sang video. Có ảnh sang video, nơi bạn đưa vào một khung hình đầu và tuỳ chọn thêm khung hình cuối. Và có omni reference, nơi bạn đính kèm tối đa chín ảnh, ba video và ba đoạn audio rồi để mô hình lấy chất liệu từ tất cả.
Chọn một thôi. Tài liệu của ByteDance liệt kê chúng như những kịch bản riêng biệt, mỗi cái được chọn bằng role bạn đặt cho các tệp đính kèm: first_frame và last_frame cho ảnh sang video; reference_image, reference_video và reference_audio cho omni reference. Chúng không kết hợp được. Gửi một ảnh khung hình đầu kèm theo các ảnh tham chiếu thì yêu cầu sẽ bị từ chối.
Đó là vấn đề, vì một cảnh quay thật thường cần cả hai nửa. Bạn có một nhân vật buộc phải trông giống hệt cảnh trước, một bối cảnh đã thiết lập, một tông màu cần bám theo, và bạn cũng biết chính xác khung hình mở đầu phải như thế nào. API lại bắt bạn bỏ một trong hai.
Tài liệu có đưa ra một lối thoát. Nó nằm ở mục "Sử dụng nâng cao" trong hướng dẫn dòng Seedance 2.0: "Với việc tạo video bằng omni reference, bạn có thể chỉ định ảnh tham chiếu làm khung hình đầu/cuối thông qua prompt để gián tiếp đạt được hiệu quả 'khung hình đầu và cuối + omni reference'." Rồi nó rào trước: nếu bạn cần các khung hình khớp nghiêm ngặt với ảnh đã cung cấp, hãy dùng ảnh sang video.
Chính câu rào đó là thứ chúng tôi đặt ra để kiểm chứng. Mọi hướng dẫn Seedance của bên thứ ba mà chúng tôi tìm được đều lặp lại cú pháp này; không hướng dẫn nào từng kiểm tra xem nó thực sự tạo ra cái gì.
Làm sao đặt một ảnh tham chiếu thành khung hình đầu?
Đính kèm tất cả dưới dạng ảnh tham chiếu, kể cả tấm bạn muốn mở đầu. Rồi gọi tên đúng tấm đó trong prompt.
Đây là cách bố trí chúng tôi đã dùng. Bốn ảnh, đính kèm theo thứ tự này:
Và prompt:
@Image 4 as the first frame. The courier arrives at a late-night noodle stall and hands the parcel to the vendor. @Image 1 is the character reference - keep the face, hair and jacket exactly as shown. @Image 2 is the noodle stall - match its awning, lanterns and signage. @Image 3 is the colour and lighting reference - match its palette. Rain falls steadily throughout. No subtitles, no captions, no watermark, no logo.
Kết quả là thế này:
Nó mở đầu bằng gói hàng, và người giao hàng, quán mì cùng bảng màu đều còn nguyên bên cạnh.
Con số chỉ vị trí của ảnh trong danh sách bạn gửi, chứ không phải một cái tên bạn đặt. @Image 4 là ảnh thứ tư trong yêu cầu, nên nếu thứ tự thay đổi, dòng đó sẽ trỏ sang một tấm khác.
Đặt dòng này lên đầu. Đó là chỗ chúng tôi đặt trong mọi lần chạy đã thử, nên chúng tôi không thể nói liệu nó còn tác dụng khi bị vùi vào giữa prompt hay không.
Bạn có thực sự nhận lại đúng tấm ảnh của mình?
Một trong hai khung hình này là ảnh tham chiếu chúng tôi cung cấp. Cái còn lại là khung hình đầu mà Seedance tạo ra từ nó.
Mọi thứ không chuyển động đều trở lại y nguyên: những nếp gấp trên giấy, cách sợi dây bắt chéo và thắt nút, vị trí các ngón tay, phần bokeh phía sau. Khác biệt duy nhất là mưa, và nó buộc phải khác: đây là khung hình đầu của một đoạn phim đang chuyển động, và các hạt mưa đang rơi.
Từ mà ByteDance dùng cho việc này là "gián tiếp", nghe như thể bạn chỉ nhận được đúng ý tưởng và đại khái đúng bố cục. Còn chúng tôi nhận lại chính tấm ảnh đó. Nếu khung hình mở đầu của bạn buộc phải là một ảnh cụ thể, con đường này đưa bạn tới đó mà không phải từ bỏ các tham chiếu khác.
Với trường hợp khắt khe nhất, chúng tôi vẫn nghe theo lời khuyên của tài liệu. Nếu khung hình mở đầu phải nối liền mạch với khung hình cuối của đoạn trước, nơi lệch vài pixel sẽ lộ ra thành cú cắt nhảy, hãy dùng ảnh sang video và chấp nhận mất các tham chiếu. Còn mọi mức nhẹ hơn thế thì cách này dùng được.
Khi nào điều này mới thực sự quan trọng?
Dòng chữ đó đáng giá khi có nhiều hơn một tấm ảnh của bạn có thể hợp lý trở thành cảnh mở đầu.
Trong bố trí bốn ảnh của chúng tôi, quán mì là một ứng viên chính đáng: nó là một địa điểm, một khung cảnh, và prompt thì mô tả đúng việc đi tới đó. Không có dòng khung hình đầu, đoạn phim mở đầu bằng quán mì. Cú cận gói hàng mà chúng tôi thực sự muốn thì bị bỏ qua.
Thêm dòng đó vào là mọi thứ đảo chiều.
Không có dòng khung hình đầu
Thêm một dòng
Vậy nên dòng đó không phải cái công tắc bật chế độ kiểm soát khung hình đầu. Nó phân xử một cuộc tranh chấp, và chỉ làm việc khi hai ảnh trở lên đều có lý do chính đáng để giành cảnh mở đầu. Với một ứng viên duy nhất, bạn có thể bỏ qua. Với hai trở lên, bỏ qua nghĩa là để mô hình chọn thay bạn.
Cách diễn đạt cụ thể có quan trọng không?
Chúng tôi đã thử ba cách nói:
| Những gì chúng tôi viết | Kết quả |
|---|---|
| "@Image 4 as the first frame." | Mở đầu bằng đúng ảnh dự định |
| "The video opens exactly on @Image 4 - an extreme macro of rain striking a brown paper parcel tied with red twine, held in two black-gloved hands, background blurred to neon bokeh. Hold that framing for a beat." | Mở đầu bằng đúng ảnh dự định |
| "The first frame must be @Image 4 - identical composition, framing and lighting. Do not reinterpret it." | Mở đầu bằng đúng ảnh dự định |
Mỗi cách đều thay thế dòng mở đầu; phần còn lại của prompt lần nào cũng giống hệt nhau.
Không có khác biệt. Mô tả ảnh thật chi tiết chẳng thay đổi gì, và ra lệnh cho mô hình không được đi chệch cũng chẳng thay đổi gì. Thứ có tác dụng là việc bạn có gọi tên tấm ảnh đó hay không.
Cứ dùng cách ngắn nhất.
Khi nào bạn hoàn toàn không cần dòng đó?
Nếu chỉ có một tấm ảnh có thể mở đầu, mô hình chẳng cần ai nhắc. Để kiểm chứng, chúng tôi chạy một phiên bản trong đó đính kèm một tấm ảnh nhưng không hề nhắc đến nó. Phần chữ của prompt ở hai nhánh giống nhau đến từng từ, không hề nhắc tới góc máy hay địa điểm nào. Khác biệt duy nhất là trong yêu cầu có thêm tấm ảnh đó hay không.
Prompt, giống hệt nhau ở cả hai nhánh:
The courier makes a late delivery in the rain-slick neon district at night. @Image 1 is the character reference - keep the face, hair and jacket exactly as shown. @Image 2 is the colour and lighting reference - match its palette. Rain falls steadily and the courier moves through the scene. No subtitles, no captions, no watermark, no logo.
Không câu nào trong đó mô tả cú máy trên cao, cũng không hề nêu bất kỳ góc máy nào.
Khi không có tấm ảnh đó, đoạn phim mở đầu ở tầm mắt, ngoài phố, theo cách hiển nhiên nhất. Khi đính kèm nó mà không hề gọi tên, đoạn phim mở đầu từ trên cao, đúng vị trí trên không của ảnh tham chiếu, một góc máy mà không gì trong prompt yêu cầu.
Không đính kèm ảnh trên cao
Có đính kèm ảnh trên cao, không hề nhắc tới
Vậy nên chỉ riêng việc đính kèm một ảnh tham chiếu đã đủ để định đoạt cảnh mở đầu của bạn. Nếu cảnh bạn muốn mở đầu là tấm ảnh duy nhất trông giống một khung cảnh trong số bạn đính kèm, thì dòng khung hình đầu đang bán cho bạn thứ bạn vốn đã có.
Nếu bạn đính kèm một ảnh mà không bao giờ nhắc tới thì sao?
Đây vẫn là phát hiện ở trên, nhưng nhìn từ phía quy trình làm việc của bạn.
Một tấm ảnh bạn đính kèm vì lý do này có thể lái một phần khác hẳn của quá trình tạo. Thêm một bảng màu vì tông màu của nó, và nếu nó được đọc như một khung cảnh, nó có thể mang luôn cảnh mở đầu đi theo, dù không hề được gọi tên ở bất cứ đâu trong prompt.
Có hai cách giúp ích. Hãy gọi tên ảnh mở đầu mỗi khi trong yêu cầu còn một ảnh khác trông giống khung cảnh, và bỏ đi những tham chiếu bạn không cần. Mỗi tấm ảnh thừa là thêm một ứng viên cho một công việc bạn không hề giao.
Những chỗ điều này có thể không đúng
Tất cả những điều trên đều thuộc Seedance 2.0, mỗi lần thử một cảnh, prompt tiếng Anh. Seedance 2.5 ghi nhận cùng ràng buộc đó nhưng chúng tôi chưa đo. Ngoài ra, chúng tôi mới xác nhận các tham chiếu khác sống sót cùng một khung hình đầu được gọi tên trong đúng một cảnh, đủ để nói rằng nó không hỏng theo mặc định, và chưa đủ để hứa rằng chuyện đó không bao giờ xảy ra.
Công thức
- Đính kèm mọi ảnh dưới dạng ảnh tham chiếu, kể cả cảnh mở đầu của bạn.
- Ghi nhớ vị trí của tấm bạn muốn mở đầu. Con số chính là chỗ của nó trong yêu cầu.
- Nếu bất kỳ ảnh đính kèm nào khác có thể được đọc như một khung cảnh, hãy thêm
@Image N as the first frame.vào đầu prompt. - Bỏ đi mọi tham chiếu bạn không thực sự cần. Mỗi tấm ảnh thừa là một ứng viên cho vai trò bạn không hề định giao.
Trên Pixo, các tham chiếu được đính kèm theo thứ tự bạn thêm vào, nên cách đánh số khớp với những gì bạn thấy trong khu làm việc của cảnh quay. Nếu bạn định gọi tên một khung hình cụ thể thì trước khi tạo nên liếc qua một lượt. Nếu bạn mới làm quen với mô hình này, hướng dẫn đầy đủ về Seedance 2.0 bao quát các chế độ đầu vào còn lại, còn hướng dẫn prompt kiểu đạo diễn đi sâu hơn vào ngôn ngữ cảnh quay. Bạn có thể dùng thử Seedance 2.0 trên Pixo với mọi thứ đã được thiết lập sẵn.
Sẵn sàng cách mạng hóa quy trình làm việc?
Tham gia cùng hàng nghìn nhà sáng tạo sử dụng Pixo để biến câu chuyện thành hiện thực.
Đăng ký ngayKhông cần thẻ tín dụng • Miễn phí 200 credits
