Xiaomi เปิดตัว PROVE: เกณฑ์มาตรฐานใหม่สำหรับประเมินการลบวัตถุในวิดีโอด้วย AI

ปัจจุบันโมเดล AI สำหรับการลบวัตถุพัฒนาไปไกลกว่าเกณฑ์วัดคุณภาพที่มีอยู่ แม้เทคโนโลยี Diffusion Eraser จะสามารถสร้างเงา การสะท้อน และโครงสร้างส่วนที่ถูกบังขึ้นใหม่ได้อย่างแนบเนียน แต่ค่ามาตรฐานอย่าง PSNR, SSIM, LPIPS, ReMOVE และ CFD มักจัดอันดับผลลัพธ์ผิดพลาด เนื่องจากงานลบวัตถุเป็นปัญหาแบบ ill-posed ที่ไม่มีผลลัพธ์ที่ถูกต้องที่สุดเพียงหนึ่งเดียว (Ground Truth)

ทีมงานจาก MiLM Plus, Xiaomi Inc. จึงได้เปิดตัว PROVE (Perceptual RemOVal cohErence), ซึ่งได้รับการตอบรับใน ACM MM 2026 เพื่อปิดช่องว่างดังกล่าว โดย PROVE ประกอบด้วยเกณฑ์วัดสองตัวคือ RC-S สำหรับความสอดคล้องทางพื้นที่ และ RC-T สำหรับความสม่ำเสมอทางเวลา พร้อมกับชุดทดสอบ PROVE-Bench ซึ่งเป็นวิดีโอโลกจริงแบบสองระดับ

เกณฑ์วัดทั้งสองจะประเมินคะแนนเฉพาะจุดที่ถูกแก้ไข โดยใช้เทคนิค sliding-window Maximum Mean Discrepancy (MMD) บนฟีเจอร์ของ DINOv2 ซึ่งจุดเด่นสำคัญคือทั้งคู่ไม่จำเป็นต้องใช้วิดีโออ้างอิงในการเปรียบเทียบ ทำให้มีความยืดหยุ่นสูงในการใช้งานจริง

มันสามารถนำไปใช้งานจริงได้หรือไม่?

ใช่ — แต่ในฐานะเครื่องมือช่วยประเมินผล ไม่ใช่ฟีเจอร์สำหรับผู้ใช้งานทั่วไป โดย PROVE ถูกปล่อยออกมาเป็น Open Source ในรูปแบบ PyTorch repo ภายใต้ลิขสิทธิ์ Apache 2.0 พร้อมจุดเชื่อมต่อ CLI เดียว (run_prove_metrics.py) เพื่อความสะดวกในการใช้งาน

สำหรับการติดตั้งจำเป็นต้องใช้ Python 3.10+, PyTorch 2.6+, Transformers 4.51+ และน้ำหนักโมเดล DINOv2-giant โดยระบบต้องการ mask หรือพิกเซลสีขาวเพื่อระบุตำแหน่งของวัตถุที่ถูกลบออก

ในระดับองค์กร ทีมที่มี GPU เพียงตัวเดียวก็สามารถนำไปใช้งานได้ โดย RC-S ใช้เวลาประมวลผลเพียง 134.6 ms/frame บน RTX 4090 ทำให้การตรวจสอบคุณภาพแบบ Nightly CI Gates เป็นไปได้จริงสำหรับสตาร์ทอัพ หรือบริษัทที่มีคลังวิดีโอขนาดใหญ่ที่ต้องการทำความสะอาดข้อมูลโดยไม่มีไฟล์ต้นฉบับเปรียบเทียบ

นอกจากนี้ยังเหมาะสำหรับอุตสาหกรรมแอปแกลเลอรี การตัดต่อวิดีโอสั้น อีคอมเมิร์ซ งานหลังการผลิตภาพยนตร์ (VFX) และการปกปิดข้อมูลส่วนตัวในแผนที่ โดยนักวิจัยและวิศวกร AI สามารถใช้ PROVE ในการเปรียบเทียบโมเดล (Model Bake-offs) ปรับแต่ง Inference Steps หรือสร้าง Reward Models ได้อย่างมีประสิทธิภาพ

รูปแบบความล้มเหลวสามประการที่ถูกบันทึกไว้

การลบวัตถุเป็นปัญหาแบบ ill-posed และ one-to-many ซึ่งหมายความว่าการเติมพิกเซลที่หายไปสามารถทำได้หลายรูปแบบที่ดูสมเหตุสมผลพอๆ กัน จึงไม่มีค่าอ้างอิงที่สมบูรณ์แบบเพียงหนึ่งเดียว นำมาซึ่งข้อจำกัดของเกณฑ์วัดเดิม ดังนี้:

1. อคติจากการอ้างอิงเต็มรูปแบบ (Full-reference bias): PSNR, SSIM และ LPIPS มักให้รางวัลการคัดลอกพิกเซลมากกว่าการลบจริงๆ บางครั้งการลดรอบประมวลผล (Inference Steps) ของ Diffusion กลับทำให้ค่าเหล่านี้สูงขึ้นทั้งที่คุณภาพภาพแย่ลง

2. จุดบอดของการไม่อ้างอิง (No-reference blind spots): ในการทดสอบ ผู้เขียนพบว่าเกณฑ์วัดอย่าง ReMOVE และ CFD ไม่สามารถตรวจจับความเบลอในพื้นที่ที่ถูก mask ได้ และบางครั้งยังระบุว่าการคืนค่าที่ถูกต้องคือภาพหลอน (Hallucination)

3. ความไม่ไวต่อเวลา (Temporal insensitivity): เกณฑ์วัดเดิมมักวิเคราะห์ฟีเจอร์แบบเต็มเฟรม ทำให้มองข้ามความผิดปกติในพื้นที่ขนาดเล็กที่ถูกแก้ไข ส่งผลให้ตรวจจับอาการกระพริบ (Flickering) ในวิดีโอได้ไม่ดีเท่าที่ควร

กลไกของ RC-S และ RC-T

ทั้งคู่ใช้แนวคิด การจับคู่การกระจายเฉพาะจุดใน Deep Feature Space แทนการมองภาพรวม โดยมีรายละเอียดการทำงานดังนี้:

RC-S (Spatial): จะแยก Mask ออกเป็นวัตถุอิสระ ขยายขอบเขต Bounding Box และส่งไปยัง DINOv2 จากนั้นใช้หน้าต่าง Sliding Window คำนวณค่า MMD ระหว่างส่วนที่ถูกลบกับพื้นหลังโดยรอบ เพื่อประเมินความเนียนในการกลมกลืนกับสภาพแวดล้อม

RC-T (Temporal): ใช้วิธีตัดครอบเฟรมที่อยู่ติดกันโดยพิจารณาพื้นที่รวมของ Mask เพื่อคำนวณความสม่ำเสมอของการเคลื่อนไหวและการเปลี่ยนแปลงของพิกเซลในจุดที่แก้ไข การทดสอบยืนยันว่าการตัดครอบเฉพาะจุดช่วยให้มองเห็นความผิดเพี้ยนได้ชัดเจนกว่าการมองภาพรวม

ผลลัพธ์การทดสอบ

เมื่อเทียบกับการจัดอันดับโดยมนุษย์ RC-S ทำค่าเฉลี่ย Kendall’s τ ได้ 0.59 และ Spearman’s ρ ได้ 0.66 ซึ่งสูงกว่า ReMOVE (0.26) และ CFD (0.16) อย่างมีนัยสำคัญ นอกจากนี้ RC-S ยังสามารถแยกแยะภาพที่สะอาดออกจากภาพเบลอได้แม่นยำ 100% ในขณะที่เกณฑ์วัดอื่นทำได้เพียงประมาณ 50-60% เท่านั้น

ในการทดสอบแบบแยกส่วน (Ablation Study) พบว่าการใช้ DINOv2 ให้ผลลัพธ์ดีที่สุดเหนือกว่า DINOv3 และ SAM อีกทั้ง RC-S ยังเป็นเกณฑ์วัดที่ประหยัดทรัพยากรมากที่สุด โดยทำงานเร็วกว่า CFD ถึง 13.7 เท่า

PROVE-Bench

ชุดทดสอบแบ่งเป็นสองส่วนคือ PROVE-M ซึ่งมี 80 วิดีโอแบบจับคู่ (มีทั้งคลิปที่มีวัตถุและไม่มีวัตถุถ่ายจากมุมเดียวกัน) พร้อม Mask คุณภาพสูง และ PROVE-H ซึ่งเพิ่มวิดีโอที่ยากเป็นพิเศษอีก 100 คลิป เช่น ฝูงชน น้ำไหล และเปลวไฟ เพื่อทดสอบขีดจำกัดของโมเดล AI ในโลกจริง

ปัจจุบันบนลีดเดอร์บอร์ดสาธารณะ SVOR (1.3B) เป็นผู้นำในด้าน RC-S ขณะที่ EffectErase ทำคะแนน RC-T ได้สูงสุด

ประเด็นสำคัญ

• RC-S และ RC-T ประเมินการลบวัตถุเฉพาะจุดผ่าน Sliding-window MMD บน DINOv2 โดยไม่ต้องใช้ภาพอ้างอิง
• มีความสอดคล้องกับการตัดสินของมนุษย์สูงกว่าเกณฑ์วัดเดิม 2-3 เท่า
• สามารถตรวจจับความเบลอและความผิดเพี้ยนที่เกณฑ์วัดอื่นมองข้ามได้แม่นยำ 100% ในชุดทดสอบ
• PROVE-Bench มอบชุดข้อมูลวิดีโอโลกจริง 1080p ที่มีความหลากหลายและซับซ้อน
• โอเพนซอร์สโค้ดภายใต้ Apache 2.0 และรองรับการทำงานที่รวดเร็ว (134.6 ms/frame)