NVIDIA เปิดตัว Cosmos 3 โมเดลจำลองโลกเสมือนแบบอินเทอร์แอกทีฟ

TL;DR

NVIDIA Cosmos แพลตฟอร์มพัฒนา world model เปิดตัว checkpoint แบบ open-weight ใหม่ 4 รายการในตระกูล Cosmos 3 เพื่อใช้สร้างการจำลองโลกแบบอินเทอร์แอกทีฟ รวมถึงฉากการขับขี่ที่รองรับหลายมุมมองและหลายเซ็นเซอร์ ดังนี้:

• 🌦️ Cosmos3-Nano-Transfer-Auto: สร้างข้อมูลการขับขี่แบบหลายมุมมอง พร้อมปรับเปลี่ยนสภาพอากาศ แสง และช่วงเวลาของวันได้หลากหลาย
• 🚗 Cosmos3-Nano-Sim-Auto: สตรีมการสังเกตการณ์จากกล้องและ LiDAR ที่ซิงโครไนซ์กันสำหรับการจำลองการขับขี่
• 🎨 Cosmos3-Nano-Sim-Transfer: เปลี่ยนการควบคุมจากโปรแกรมจำลองและ text prompt ให้เป็นวิดีโอที่มีความสมจริงระดับภาพถ่าย (photorealistic)
• 🤖 Cosmos3-Nano-Sim-Bimanual: ทำนายวิดีโอจากการเคลื่อนไหวของหุ่นยนต์หรือกล้อง

โมเดลทั้งสี่เป็นเวอร์ชันที่ผ่านการ post-trained ของ Cosmos 3 Nano โดยมีพารามิเตอร์ที่ฝึกฝนได้ (trainable parameters) จำนวน 16B ใช้สิทธิ์การใช้งาน OpenMDW1.1 ซึ่งอนุญาตให้ใช้ในเชิงพาณิชย์และไม่ใช่เชิงพาณิชย์ภายใต้เงื่อนไขที่กำหนด

Download the checkpoints · Read the technical report . Watch the demos

ทำไมคุณถึงต้องการ checkpoint เหล่านี้?

หุ่นยนต์ต้องการสภาพแวดล้อมที่สามารถตอบสนองได้ทันทีท่ามกลางฉากและมุมมองที่เปลี่ยนแปลงไป โดย checkpoint เหล่านี้เสนอวิธีสร้างที่เสริมกัน เช่น Sim-Bimanual ทำนายผลลัพธ์ทางภาพจากการกระทำ ขณะที่ Sim-Transfer เปลี่ยนการควบคุมจากโปรแกรมจำลองฟิสิกส์ให้เป็นการสังเกตการณ์เสมือนจริง

สำหรับการขับขี่อัตโนมัติ รูปลักษณ์และเรขาคณิตต้องสอดคล้องกัน การสร้างข้อมูลกล้องและ LiDAR แบบซิงโครไนซ์จะเชื่อมต่อการมองเห็นเข้ากับการตรวจจับแบบ 3D ช่วยให้นักวิจัยปรับเปลี่ยนรูปแบบถนนและสัญญาณไฟจราจรเพื่อศึกษาการตอบสนองของนโยบายการขับขี่ (driving policy) ได้อย่างแม่นยำ

การสังเกตการณ์แต่ละครั้งยังสามารถกำหนดการกระทำถัดไปได้ การสร้างแบบสตรีมมิ่งจะเชื่อมต่อการทำนายวิดีโอเข้ากับการโต้ตอบที่ดำเนินอยู่ ทำให้นักวิจัยสามารถสำรวจการเปลี่ยนแปลงระหว่างการกระทำและการสังเกตการณ์ได้อย่างต่อเนื่อง

NVIDIA มุ่งหวังให้นักวิจัยและนักพัฒนาสร้างโลกจำลองที่สมบูรณ์และตอบสนองได้ดีขึ้นผ่านรากฐานแบบเปิด โดย open weights และสูตรการทำ post-training จะเป็นจุดเริ่มต้นสำหรับการปรับแต่งและเปรียบเทียบวิธีการ เพื่อแก้ปัญหาความซับซ้อนในการเรียนรู้และการประเมินนโยบายหุ่นยนต์ในอนาคต

สร้างโลกยานยนต์ไร้คนขับด้วย Cosmos3-Nano

🌦️ Transfer-Auto: สถานการณ์การขับขี่ → ข้อมูลแบบหลายเซ็นเซอร์

Cosmos3-Nano-Transfer-Auto เป็นโมเดลแบบสองทิศทาง (bidirectional) สำหรับการสร้างข้อมูลการขับขี่สังเคราะห์แบบออฟไลน์ สามารถสร้างวิดีโอที่ซิงโครไนซ์กันได้สูงสุด 11 มุมมองกล้อง รวมถึงเลนส์ตาปลา (fisheye) และรองรับการสร้าง RGB - LiDAR ร่วมกัน โดยควบคุมผ่าน World Scenario Map (WSM) และใช้ text prompts ในการกำหนดรูปลักษณ์

นักพัฒนาสามารถเปลี่ยนเงื่อนไขสภาพแวดล้อมเพื่อขยายขอบเขตการฝึกฝน โดยใช้ภาพ RGB เริ่มต้นกำหนดรูปลักษณ์ฉาก และใช้การควบคุม range-map จาก HD-map ที่จัดวางตรงกันสำหรับการสร้าง LiDAR

Transfer-Auto ยังทำหน้าที่เป็นรากฐานในการปรับแต่ง Cosmos ให้เข้ากับชุดเซ็นเซอร์ของคุณเอง โดยเริ่มต้นด้วยการทำ post-training บนข้อมูลเฉพาะ เพื่อรองรับการจัดวางกล้องและสภาพแวดล้อมเป้าหมาย ก่อนจะนำไปใช้สร้างข้อมูลออฟไลน์หรือเข้าสู่กระบวนการฝึกแบบสตรีมมิ่งที่รวดเร็วอย่าง Cosmos3-Nano-Sim-Auto

Point your agent to the open skill : Run inference with Cosmos3-Nano-Transfer-Auto

Prefer a notebook? Open Transfer-Auto.

🚗 Sim-Auto: การควบคุมการขับขี่ → การสังเกตการณ์แบบสตรีมมิ่ง

Cosmos3-Nano-Sim-Auto คือตัวแปรแบบสตรีมมิ่งที่ผ่านการทำ causally distilled จาก Transfer-Auto สร้างข้อมูลวิดีโอกล้องและ LiDAR แบบต่อเนื่องผ่านขั้นตอน denoising เพียงไม่กี่ขั้นตอน เพื่อรองรับการทำงานแบบอินเทอร์แอกทีฟที่ยาวนาน

โมเดลนี้ใช้คำบรรยาย (captions) และการควบคุม WSM ที่ซิงโครไนซ์กัน โดยสามารถใช้ประวัติที่สร้างขึ้นก่อนหน้ามาหมุนเวียนเพื่อสร้างส่วนย่อยของวิดีโออย่างต่อเนื่อง การจำลองแบบวงปิด (closed-loop) จำเป็นต้องมี simulation runtime เพื่ออัปเดตการควบคุมจากอินพุตการขับขี่แบบเรียลไทม์

Point your agent to the open skill : Run inference with Cosmos3-Nano-Sim-Auto

Prefer a notebook? Open Sim-Auto.

🎨 Sim-Transfer: การควบคุมโปรแกรมจำลอง → RGB

เมื่อโปรแกรมจำลองคำนวณฟิสิกส์และการเคลื่อนที่ Sim-Transfer จะรับหน้าที่ใช้การควบคุมเชิงพื้นที่และ text prompt เพื่อเรนเดอร์ภาพสีที่นโยบาย (policy) สามารถนำไปใช้งานต่อได้ทันที

กระบวนการเริ่มจาก: การกระทำ → อัปเดตโปรแกรมจำลอง → การควบคุมเชิงพื้นที่ → RGB ที่สร้างขึ้น → การกระทำถัดไปของนโยบาย โดยใช้ปัจจัยควบคุมดังนี้:

• Depth: ระยะห่างสัมพัทธ์จากกล้อง
• Segmentation: พื้นที่และขอบเขตของวัตถุ
• Edges: เค้าโครงของฉาก
• Blur: รูปลักษณ์และเลย์เอาต์อย่างคร่าวๆ

Depth control to video

Segmentation control to video

Point your agent to the open skill : Run inference with Cosmos3-Nano-Sim-Transfer

Prefer a notebook? Use Transfer.

🤖 Sim-Bimanual: การกระทำ → วิดีโอ

Input Frames

Output Video From Sim-Bimanual Simulation Checkpoint

Cosmos3-Nano-Sim-Bimanual จำลองการเปลี่ยนแปลงของสภาพแวดล้อมตามการกระทำของหุ่นยนต์แบบสองแขน (bimanual) รองรับรูปลักษณ์ของหุ่นยนต์ YAM และ AgiBot โดยควบคุมผ่านนโยบายหรือจอยสติ๊ก

โมเดลจะเริ่มจากรูปภาพเพียงหนึ่งใบ จากนั้นสร้างการสังเกตการณ์ถัดไปตามการเคลื่อนไหวของหุ่นยนต์หรือกล้อง ซึ่งลำดับการควบคุมสามารถสลับไปมาระหว่างการเปลี่ยนมุมมองและการหยิบจับวัตถุได้ในคราวเดียว

การฝึกฝนใช้ค่าควบคุม 59 ค่า (ขยายเป็น 64 ในการฝึก) ครอบคลุมพิกัด การหมุน และการปรับจูนตัวคีบ (gripper calibration) โดย Sim-Bimanual จะสร้างภาพการสังเกตการณ์ถัดไปโดยตรงจากฉากและการกระทำของหุ่นยนต์โดยไม่ต้องผ่านโปรแกรมจำลองฟิสิกส์แยกต่างหาก

ดู data contract และ action schema

ความต้องการระบบ: Linux, NVIDIA GPU, Docker และ NVIDIA Container Toolkit โดยชุด vLLM-Omni ผ่านการทดสอบบน GB200 หนึ่งตัว (ไม่ใช่หน่วยความจำขั้นต่ำ) เซิร์ฟเวอร์จะดาวน์โหลด weights อัตโนมัติ

Point your agent to the open skill : Run inference with Cosmos3-Nano-Sim-Bimanual

Prefer a notebook? Open Bimanual

การทำงานของการสร้างข้อมูลแบบสตรีมมิ่ง

Cosmos 3 ใช้โครงสร้าง Mixture-of-Transformers เชื่อมต่อเครือข่ายประมวลผลข้อความและภาพผ่าน attention ตัวสร้าง (generator) จะทำนายภาพส่วนสั้นๆ จาก prompt การควบคุม และประวัติที่สร้างขึ้นมาเพื่ออัปเดตอย่างต่อเนื่อง

กระบวนการ Denoising จะขัดเกลาวิดีโอแบบบีบอัด (latents) ให้กลายเป็นภาพที่ชัดเจน โดยใช้ Temporal-causal attention เพื่อให้อ่านประวัติและข้อมูลควบคุมได้โดยไม่เห็นภาพเป้าหมายในอนาคต พร้อมใช้ key/value cache ช่วยในการทำนายครั้งถัดไป

โมเดลทำงานบน latents โดย 1 time step แทนเฟรม RGB ได้ 4 เฟรม ซึ่ง Transfer จะทำนายหนึ่งสเต็ปต่อส่วนย่อย ส่วน Bimanual จะทำนายสองสเต็ป เพื่อให้การควบคุมใหม่ส่งผลต่อการสร้างภาพได้รวดเร็วและบ่อยครั้งขึ้น

สูตรการฝึกฝนสี่ขั้นตอน

• Stage 0: Bidirectional adaptation: เรียนรู้ความสัมพันธ์ระหว่างการควบคุมและวิดีโอจากคลิปบันทึกจริง
• Stage 1: Teacher forcing: ฝึกทำนายส่วนย่อยโดยใช้ข้อมูลอ้างอิงที่ถูกต้องเป็นตัวนำ
• Stage 2: Consistency distillation: ใช้โมเดล teacher ฝึก student ให้สร้างภาพได้ใน 4 ขั้นตอน denoising เพื่อความเร็ว
• Stage 3: Self-forcing: ฝึกบนประวัติที่ student สร้างขึ้นเองเพื่อลดการสะสมของข้อผิดพลาด (error accumulation) ทำให้โมเดลมีความเสถียรในระยะยาว

🛠️ ปรับแต่งด้วยข้อมูลของคุณ

คุณสามารถใช้สูตร post-training เริ่มต้นจาก Cosmos3-Nano เพื่อปรับแต่งให้เข้ากับโดเมนเฉพาะของคุณได้ โดยครอบคลุมทั้ง 4 ขั้นตอนการฝึกฝน:

• Transfer-auto: ปรับแต่งตามชุดเซ็นเซอร์ขับขี่ของคุณ
• Sim-auto: ฝึกการจำลองแบบสตรีมมิ่งจากโมเดล Transfer ที่ปรับแต่งแล้ว
• Sim-Transfer: ปรับแต่ง checkpoint สำหรับสภาพแวดล้อมจำลองฟิสิกส์ของคุณ
• Sim-Bimanual: ปรับแต่งตามรูปลักษณ์และรูปแบบการเคลื่อนไหวของหุ่นยนต์เฉพาะตัว

แนะนำให้ตรวจสอบสภาพแวดล้อมและทดสอบการรันระยะสั้นก่อนเริ่มการฝึกจริง เพื่อยืนยันความถูกต้องของข้อมูลก่อนที่ผลลัพธ์จะลู่เข้าสู่จุดที่ต้องการ (convergence)

แหล่งข้อมูลเพิ่มเติม

• 🤗Download the checkpoints
• 📺 Watch the Cosmos Labs livestream replay
• 📖 Read the technical blog