แก้ไขคลิปแทนที่จะเจนใหม่

สรุปสั้น ๆ Seedance 2.5 รับคลิปที่เสร็จแล้วเป็นอินพุต คุณจึงแก้ไขวิดีโอ AI ได้โดยไม่ต้องเริ่มใหม่ ชี้ไปที่ต้นฉบับ ระบุสิ่งเดียวที่จะเปลี่ยน และปิดด้วยประโยคคงสภาพเดิม — บรรทัดที่สามนี้คือสิ่งที่ทำให้มันเป็นการแก้ไขไม่ใช่เทคใหม่ ข้อจำกัด: การแก้ไขจะสืบทอดอัตราส่วนภาพและความยาวจากคลิปต้นฉบับ ดังนั้นต้องกำหนดรูปทรงก่อนการสร้างครั้งแรก

วิธีปกติเมื่อเทคเกือบจะใช่คือรันใหม่อีกครั้ง เสื้อผ้าสีผิด ตัวประกอบเดินผ่านด้านหลังเฟรม ดนตรีวุ่นวายเกินไปใต้บทพูด — คุณจึงเปลี่ยนคำแล้วเสี่ยงดวงกับสามสิบวินาทีทั้งหมด รวมถึงยี่สิบแปดวินาทีที่ดีอยู่แล้ว

คุณจะแก้ไขวิดีโอ AI โดยไม่ต้องเริ่มใหม่ได้อย่างไร?

คุณให้คลิปที่มีอยู่แล้วกับโมเดล การดำเนินการนี้เรียกว่า Controllable Video Editing: มันรับคลิปที่เสร็จแล้วเป็นต้นฉบับและไม่แตะต้องทุกสิ่งที่คุณไม่ได้ระบุ ลองคิดว่าเป็น video inpainting ที่ขับเคลื่อนด้วยประโยคแทนที่จะเป็นมาสก์ที่คุณต้องวาดเอง

มันคงเฟรม กล้อง และจังหวะไว้ และเขียนใหม่เฉพาะสิ่งที่คุณชี้ การระบุช่วงเวลาจะจำกัดให้แคบลงอีก — ระบุ "0:02 ถึง 0:05" แล้วไม่มีอะไรนอกกรอบเวลานั้นขยับ

คุณระบุอะไรในการแก้ไขได้บ้างจริง ๆ?

• ลบวัตถุออกจากวิดีโอ คนที่เดินหลงเข้าไปด้านหลังเฟรม โลโก้บนผนัง พร็อพที่ไม่ควรอยู่ที่นั่น ระบุชื่อมันแล้วบอกว่าอะไรควรอยู่ด้านหลัง
• แทนที่หรือสลับวัตถุ เสื้อผ้า ยานพาหนะ สินค้าที่ถืออยู่ — อธิบายเป็นข้อความ หรือจับคู่กับภาพอ้างอิงที่คุณแนบมา
• เพิ่มตัวแบบ คน สัตว์ หรือฉากประกอบที่ช็อตเดิมขาดหายไป
• เปลี่ยนสีหรือวัสดุของสิ่งเดียว โดยไม่ดึงเกรดสีของทุกอย่างรอบ ๆ ไปด้วย
• สลับฉากทั้งหมด ตามภาพอ้างอิง โดยคงการแสดงที่เกิดขึ้นด้านหน้าไว้
• เปลี่ยนเสียง เพลงประกอบที่ต่างออกไป เอฟเฟกต์ที่เพิ่มเข้ามา เสียงพากย์ที่อัดใหม่ โดยภาพไม่เปลี่ยนแปลง

จะเขียนพรอมต์แก้ไขอย่างไร?

สั้น ๆ และแบ่งเป็นสามส่วน ตามลำดับนี้: ชี้ไปที่ต้นฉบับ ระบุวัตถุและการเปลี่ยนแปลง แล้วปิดด้วยประโยคคงสภาพเดิม

แทนที่เสื้อโค้ทสีเข้มของผู้หญิงสวมหมวกแก๊ปสีแดงใน @video 1 ด้วยเสื้อกันฝนสีเหลืองสดใส คงอย่างอื่นทั้งหมดไว้ไม่เปลี่ยนแปลง

เฟรมเดียวกันของคลิปต้นฉบับ ก่อนและหลังพรอมต์นั้น การจัดองค์ประกอบ แสงอาทิตย์ต่ำและแสงฟุ้ง เงาที่ทอดข้ามทางม้าลาย คนเดินถนนคนอื่น ๆ และจังหวะก้าวของเธอยังคงอยู่ สิ่งที่ควรรู้: โมเดลเรนเดอร์ช็อตใหม่แทนที่จะตัดต่อทับ ดังนั้นรายละเอียดเล็ก ๆ จะถูกวาดใหม่แทนที่จะเก็บไว้ทีละพิกเซล

บรรทัดที่สามคือสิ่งที่คนมักละเว้น และมันคือสิ่งที่ตัดสินว่าคุณจะได้การแก้ไขหรือภาพยนตร์ใหม่ หากไม่มีมัน จะไม่มีอะไรบอกโมเดลว่าส่วนที่เหลือของเฟรมเสร็จสมบูรณ์แล้ว และมันก็จะช่วยปรับปรุงสิ่งที่คุณไม่ได้พูดถึง

รูปแบบเดียวกันนี้ใช้ได้กับเสียง ชี้ไปที่คลิป ระบุว่าเสียงควรเปลี่ยนอย่างไร แล้วบอกว่าภาพคงเดิม

บอกสิ่งที่คุณต้องการในฐานะสาเหตุทางกายภาพ ไม่ใช่คำสั่งห้าม "คงอย่างอื่นทั้งหมดไว้ไม่เปลี่ยนแปลง" จะตรึงส่วนที่เหลือของช็อตให้นิ่งไว้ ขณะที่ส่วนที่คุณระบุเปลี่ยนไป "อย่าเปลี่ยนอย่างอื่น" จะชวนให้โมเดลมองหาว่ามีอะไรอีกบ้าง

ทำไมคุณถึงเปลี่ยนอัตราส่วนภาพของการแก้ไขไม่ได้?

นี่คือส่วนที่มีแนวโน้มจะทำให้คนที่มาจาก Seedance 2.0 ซึ่งไม่ได้ขีดเส้นแบบนี้ไว้ สับสนมากที่สุด ใน 2.5 ว่าคุณจะเลือกอัตราส่วนภาพและระยะเวลาได้หรือไม่นั้น ขึ้นอยู่กับว่าไฟล์ต้นฉบับของคุณกำหนดค่าเหล่านี้ไว้แล้วหรือไม่:

ผลในทางปฏิบัติคือ: ไม่มีขั้นตอนการปรับกรอบใหม่ในการแก้ไข คุณไม่สามารถแก้ไขมาสเตอร์ 16:9 ให้เป็นคัต 9:16 ได้ ดังนั้นการนำคลิปแนวนอนมาใช้ใหม่ในแนวตั้งจึงเป็นการสร้าง ไม่ใช่การแก้ไข วางแผนรูปทรงตั้งแต่จุดที่ยังเปิดอยู่ — การสร้างจากอ้างอิง — แล้วปล่อยให้การแก้ไขจัดการทุกอย่างหลังจากนั้น

อีกอย่างหนึ่ง หากคุณทำงานจากเฟรมแรกและเฟรมสุดท้าย: ให้ทั้งสองภาพมีขนาดเท่ากัน หากขนาดต่างกัน เฟรมสุดท้ายจะถูกยืดให้ตรงกับเฟรมแรก การยืดนั้นคือโมเดลทำตามที่ถูกสั่ง ไม่ใช่ข้อผิดพลาดที่ต้องเขียนพรอมต์หลีกเลี่ยง

สิ่งนี้ต่างจากตัวแก้ไขวิดีโอด้วยพรอมต์อย่างไร?

เครื่องมือส่วนใหญ่ที่โฆษณาว่าแก้ไขด้วยพรอมต์กำลังทำอย่างใดอย่างหนึ่งจากสองอย่าง: การลบวัตถุแบบติดตามที่สร้างส่วนที่หายไปขึ้นมาใหม่ หรือการเปลี่ยนสไตล์วิดีโอทั้งเรื่องแบบ video-to-video ที่วาดทุกเฟรมใหม่ Controllable Video Editing อยู่ระหว่างสองอย่างนี้ มันเรนเดอร์ช็อตใหม่ จึงสามารถเพิ่มและแทนที่สิ่งที่เครื่องมือลบทำไม่ได้ มันยึดกับต้นฉบับ จึงไม่เบี่ยงเบนไปเหมือนการเปลี่ยนสไตล์

ข้อแลกเปลี่ยนคือมันไม่ได้เก็บพิกเซลเดิมไว้ทุกเม็ด และผูกติดกับลุคของโมเดลเดียว Veo 3.1 ให้การควบคุมเฟรมที่แม่นยำกว่าตลอด 8 วินาที Kling 3.0 Omni เน้นสไตล์ และหากฟุตเทจเดิมต้องคงอยู่ทุกไบต์ — ฟุตเทจสต็อกที่มีลิขสิทธิ์ ข้อความปฏิเสธความรับผิดทางกฎหมาย ชุดโลโก้ที่ตายตัว — นี่เป็นเครื่องมือที่ผิด และโปรแกรมตัดต่อทั่วไปคือสิ่งที่ถูกต้อง

การทำงานที่เกี่ยวข้องกันคือ การขยายเวลา ซึ่งเขียนสิ่งที่มาก่อนหรือหลังคลิปแทนที่จะอยู่ภายใน สัญชาตญาณเดียวกัน แกนต่างกัน: คงช็อตไว้ เพิ่มเข้าไป

เมื่อไหร่ที่คุณควรสุ่มใหม่แทนการแก้ไข?

การแก้ไขเป็นเครื่องมือที่ผิดเมื่อสิ่งที่คุณต้องการเปลี่ยนคือรากฐานที่เทคนั้นสร้างขึ้นมา การแสดงที่ต่างออกไป ภาษากล้องที่ต่างออกไป โครงสร้างที่ต่างออกไป — สิ่งเหล่านั้นไม่ใช่พื้นที่ในเฟรม และการระบุว่าเป็นการแก้ไขจะทำให้คุณได้ภาพยนตร์เรื่องใหม่ในเวอร์ชันที่แย่กว่าเดิม

การทดสอบ: หากคุณชี้ได้ว่าอะไรเปลี่ยนและบอกว่าอะไรคงเดิม ให้แก้ไขมัน หากทำไม่ได้ ให้เขียนใหม่

กฎสองข้อที่ควรจำไว้

1. ปิดท้ายการแก้ไขทุกครั้งด้วยประโยคคงสภาพเดิม ชี้ ระบุ คงสภาพ บรรทัดที่สามคือสิ่งที่ทำให้มันเป็นการแก้ไข
2. ตัดสินใจเรื่องอัตราส่วนภาพก่อนการสร้างครั้งแรก การแก้ไขสืบทอดมันจากต้นฉบับ และไม่มีอะไรในขั้นตอนต่อมาจะเอามันคืนมาได้

ทั้งสองอย่างทดสอบได้ง่ายด้วยต้นทุนต่ำ บัญชีใหม่เริ่มต้นด้วยเครดิตฟรี 100 เครดิต ซึ่งเพียงพอที่จะนำคลิปที่คุณเกือบพอใจมาเรียกใช้การแก้ไขหนึ่งครั้ง และดูว่าส่วนที่เหลือของเฟรมคงอยู่หรือไม่

ภาพยนตร์ต้นฉบับและภาพนิ่งที่ดึงมาจากภาพยนตร์โดยตรงเป็นสื่อสาธิตของ Seedance 2.5 จาก ByteDance เฟรมที่แก้ไขถูกสร้างขึ้นจากคลิปดังกล่าวด้วย Seedance 2.5 ใน Popcraft