NVIDIA เปิดตัว Cosmos3-H-Dreams จำลองการผ่าตัดเสมือนจริงแบบเรียลไทม์

ลองจินตนาการถึงการเคลื่อนย้าย Cadiere grasper เพื่อคีบถุงน้ำดีและยกมันขึ้น ทั้งหมดนี้เกิดขึ้นภายในฉากการผ่าตัดที่สร้างขึ้นและตอบสนองแบบเรียลไทม์ วันนี้เราก้าวไปอีกขั้นด้วยการเปิดตัว Cosmos3-H-Dreams ซึ่งนำการจำลองแบบ generative simulation ที่โต้ตอบได้มาสู่ความซับซ้อนทางสายตาและขั้นตอนของการผ่าตัดทางคลินิก ด้วยภาพภายในร่างกายที่น่าเชื่อถือที่สุดเท่าที่เราเคยมีมา

การเปิดตัว Cosmos-H-Dreams ครั้งแรกของเรา ซึ่งสร้างขึ้นบน Cosmos-Predict2.5 ได้นำการจำลองแบบ generative simulation ที่โต้ตอบได้มาสู่การเย็บแผลบนโต๊ะทดลองของ dVRK ซึ่งเป็นสนามทดสอบพื้นฐานสำหรับหุ่นยนต์ผ่าตัด

ในฐานะ world foundation model (WFM), Cosmos-H-Dreams ได้แสดงให้เห็นถึงทางเลือกอื่นนอกเหนือจากการจำลองเชิงตัวเลข (numerical simulation) แทนที่จะสร้างโมเดลเรขาคณิตของฉาก การเสียรูปของเนื้อเยื่อ และการปฏิสัมพันธ์ทางกายภาพอย่างชัดเจน แต่มันเรียนรู้พลวัตทางสายตาโดยตรงจากวิดีโอที่ซิงโครไนซ์กับ kinematics ของหุ่นยนต์ ส่งผลให้เกิดการจำลองงานบนโต๊ะทดลองที่โต้ตอบได้ด้วยความสมจริงสูง

วันนี้ Cosmos3-H-Dreams ก้าวไปข้างหน้าในความสามารถนี้ด้วยการเรียนรู้จากวิดีโอและการบันทึก kinematics ของหุ่นยนต์ระหว่างขั้นตอนทางคลินิกบนแพลตฟอร์ม CMR Surgical Versius ตามความรู้ของเรา นี่เป็นเครื่องจำลองการผ่าตัดแบบ generative เรียลไทม์เครื่องแรกที่ฝึกฝนด้วยการบันทึกการผ่าตัดนิ่วในถุงน้ำดี (cholecystectomy) ทางคลินิกเพื่อรองรับการควบคุม kinematic แบบสด

ระบบนี้ขับเคลื่อนโดย Cosmos 3 และเร่งความเร็วด้วย FlashDreams ซึ่งเป็นห้องสมุด streaming-inference ที่เร่งความเร็วของ NVIDIA ทำให้ Cosmos3-H-Dreams ทำงานแบบโต้ตอบได้บน GPU NVIDIA RTX PRO 6000 เพียงตัวเดียว

1. จากงานบนโต๊ะทดลองสู่ฉากทางคลินิก

ในสภาพแวดล้อมบนโต๊ะทดลองที่มีการควบคุมเหมือนกับของ Cosmos-H-Dreams เครื่องมือจะทำงานบนพื้นหลังที่ค่อนข้างเรียบง่าย อย่างไรก็ตาม ภายในร่างกายมนุษย์ การเคลื่อนไหวเพียงเล็กน้อยของเครื่องมือสามารถส่งผลกระทบต่อทั้งฉาก ไม่ว่าจะเป็นเนื้อเยื่อดึงรั้งจากการลาก การสะท้อนเปลี่ยนไป โครงสร้างถูกบดบัง และควันทำให้ทัศนวิสัยเปลี่ยนไป

เมื่อได้รับภาพเริ่มต้นและการดำเนินการของเครื่องมือที่กำหนด simulator แบบ generative จะต้องจับการตอบสนองเหล่านี้ในขณะที่รักษาลักษณะทางกายวิภาคและเครื่องมือไว้ในขณะที่สร้างวิดีโอแต่ละบล็อกใหม่ เนื่องจากข้อผิดพลาดเล็กน้อยสามารถสะสมเมื่อเวลาผ่านไป จนอาจเปลี่ยนเรขาคณิตของเครื่องมือหรือโครงสร้างทางกายวิภาค ทำให้ความสม่ำเสมอทางเวลา (temporal consistency) เป็นสิ่งจำเป็น

ความสมจริงทางสายตาจึงเป็นจุดเริ่มต้นสำหรับการตรวจสอบความถูกต้อง ไม่ใช่หลักฐานของความแม่นยำทางชีวกลศาสตร์ ฉากที่สร้างขึ้นต้องเป็นไปตามการควบคุมด้วย ทั้งการเลื่อน (translation), การหมุน (rotation) และคำสั่งตัวคีบ (gripper) ควรสร้างผลกระทบทางกายวิภาคที่สอดคล้องกัน การจำลองที่ดูน่าเชื่อถือแต่ละเลยคำสั่งเหล่านั้นไม่สามารถทำหน้าที่เป็นสภาพแวดล้อมที่โต้ตอบได้

การรักษาความแม่นยำและการตอบสนองนี้ในลูปการควบคุมแบบสดต้องการการสร้างภาพที่มีความหน่วงต่ำ Cosmos3-H-Dreams จัดการกับสถานการณ์นี้ผ่านโมเดลที่เชี่ยวชาญเฉพาะสำหรับการผ่าตัดนิ่วในถุงน้ำดีทางคลินิกและถูกกลั่นกรอง (distilled) เพื่อการสร้างแบบเรียลไทม์ นำการโต้ตอบที่ปรับตามการกระทำ (action-conditioned interaction) เข้าสู่ฉากที่มีกายวิภาค การเคลื่อนไหวของเนื้อเยื่อ และการบดบังที่ซับซ้อน

2. มีอะไรใหม่ใน Cosmos3-H-Dreams?

2.1 รากฐานจาก Cosmos 3 และการควบคุมการผ่าตัดที่เข้มข้นขึ้น

Cosmos3-H-Dreams สร้างขึ้นบน Cosmos3-H-Embodied-Nano ซึ่งเป็นโมเดลขนาด 16 พันล้านพารามิเตอร์ที่ฝึกฝนเบื้องต้นบน Open-H-Embodiment และปรับปรุงโมเดล teacher แบบสองทิศทาง (bidirectional teacher) ด้วยวิดีโอและ kinematics ของการผ่าตัดนิ่วในถุงน้ำดีที่คัดสรรมา

การเลือกตัวอย่างเน้นไปที่เครื่องมือสองชิ้นที่มองเห็นและใช้งานอยู่ ได้แก่ Cadiere grasper ทางซ้าย และ monopolar hook ทางขวา และจำกัดคำสั่งกล้องเพื่อเน้นการโต้ตอบที่ขับเคลื่อนด้วยเครื่องมือ โดยโมเดลนี้ใช้มิติการกระทำ (action dimensions) 28 มิติ ครอบคลุมข้อมูลท่าทางและตัวคีบสำหรับแขนทั้งสองข้าง พร้อมการควบคุมพลังงาน แกน thumbstick และปุ่ม thumbstick

2.2 จาก Teacher สู่ Student แบบสี่ขั้นตอนและสองขั้นตอน

Cosmos3-H-Dreams ผสมผสานขั้นตอนการฝึกฝนจาก teacher-to-student ที่ออกแบบมาสำหรับการจำลองแบบ autoregressive ระยะยาวเข้ากับการทำ streaming inference ที่เร่งความเร็วผ่าน FlashDreams

เริ่มจากการปรับเปลี่ยน bidirectional teacher ใน 24 เฟรมอนาคต จากนั้นขยายเป็น 72 เฟรม เพื่อให้มีลำดับที่ยาวขึ้นในการเรียนรู้พลวัตของการผ่าตัด ถัดมาเป็นการกลั่นกรอง (distillation) เปลี่ยน teacher ให้เป็น causal student ที่สามารถสร้างวิดีโอเป็นบล็อกสั้นๆ เมื่อมีการกระทำใหม่เข้ามา

นอกจากนี้ยังใช้ Self-Forcing ฝึกฝนด้วยบริบทที่ตัวมันเองสร้างขึ้น เพื่อแก้ปัญหาการสะสมของข้อผิดพลาดระหว่างการจำลอง โดยมีทั้งรุ่นสี่ขั้นตอน (four steps) และสองขั้นตอน (two steps) เพื่อให้นักพัฒนาสำรวจความสมดุลระหว่างคุณภาพทางสายตาและต้นทุนการประมวลผล

2.3 Streaming ผ่าน FlashDreams

FlashDreams ทำหน้าที่เป็นส่วนรันไทม์การสตรีมที่เร่งความเร็ว การจำลองระยะยาวยังต้องการการจัดการประวัติการให้ความสนใจ (attention history) ของโมเดล

การรวม Cosmos3-H-Dreams เข้าด้วยกันนั้นใช้โมดูล FadeMem ที่ดัดแปลงมาเพื่อรวม key/value cache ที่เพิ่มขึ้นระหว่างการจำลองระยะยาว สิ่งนี้เสริมการทำ Self-Forcing โดยการกลั่นกรองจัดการวิธีที่โมเดลเรียนรู้จากประวัติ และการรวมแคชจัดการวิธีจัดเก็บประวัตินั้นระหว่างการสร้างแบบสตรีมมิ่ง

3. การสำรวจเส้นทางที่ไม่เคยเห็นมาก่อน

ในระหว่างขั้นตอนทางคลินิกอาจเกิดภาวะแทรกซ้อนหรือศัลยแพทย์อาจเคลื่อนไหวที่ "แปลกใหม่" ดังนั้น simulator ต้องสามารถสรุปความรู้ได้นอกเหนือจากข้อมูลการฝึกฝน และสร้างเฟรมที่สอดคล้องกับการเคลื่อนไหวที่ไม่เคยเห็นมาก่อน การสาธิตด้านล่างแสดงให้เห็นว่า Cosmos3-H-Dreams สร้างฉากการผ่าตัดที่แตกต่างกันตามการดำเนินการของเครื่องมือที่บันทึกด้วยชุดหูฟัง VR

วิดีโอทั้งสองเริ่มต้นด้วยเฟรมเดียวกัน แต่ดำเนินตามลำดับการกระทำที่แตกต่างกัน ซึ่งแสดงให้เห็นว่าการควบคุมเครื่องมือนำไปสู่ความต่อเนื่องของฉากที่ต่างกันอย่างไร พร้อมการเสียรูปของเนื้อเยื่อที่แม่นยำทางกายภาพ

นอกจากนี้ การจำลองเหล่านี้ช่วยให้เราตรวจสอบได้ว่าเครื่องมือเป็นไปตามการควบคุมหรือไม่ เนื้อเยื่อตอบสนองต่อการปฏิสัมพันธ์อย่างสอดคล้องหรือไม่ และลักษณะทางกายวิภาคยังคงสม่ำเสมอเมื่อเวลาผ่านไปหรือไม่

4. การปรับให้เข้ากับข้อมูลและตัวควบคุมของคุณเอง

Cosmos3-H-Dreams มี checkpoint ทั้งแบบสี่ขั้นตอนและสองขั้นตอน ระบบสามารถปรับให้เข้ากับชุดข้อมูลและรูปแบบหุ่นยนต์ (embodiments) อื่นๆ ได้ ในการฝึกโมเดล student แบบเรียลไทม์บนชุดข้อมูลของคุณเอง เราได้จัดเตรียมสูตรสำหรับการทำ teacher fine-tuning และ Self-Forcing distillation ไว้ใน step-by-step guide เรียบร้อยแล้ว

5. สิ่งที่จะเกิดขึ้นต่อไป

ความก้าวหน้าในความสมจริงทางสายตาเปิดทิศทางการวิจัยหลายประการ ไม่ว่าจะเป็นการสร้างโมเดลขั้นตอนการทำงานทั้งหมด การเชื่อมต่อการจำลองแบบ generative เข้ากับการจำลองเชิงตัวเลข (numerical) เพื่อความแม่นยำทางกลศาสตร์เนื้อเยื่อ รวมถึงการประเมินโดยศัลยแพทย์เพื่อตั้งเกณฑ์มาตรฐาน และการพัฒนานโยบายการผ่าตัดอัตโนมัติ

ทั้งนี้ Cosmos3-H-Dreams เป็น simulator เพื่อการวิจัยเท่านั้น ไม่ใช่ระบบที่ผ่านการตรวจสอบเพื่อใช้ในการดูแลผู้ป่วยจริง แต่นับเป็นรากฐานสำคัญสำหรับการศึกษาการปฏิสัมพันธ์ทางศัลยกรรมในสภาพแวดล้อมที่สมจริงยิ่งขึ้น

6. เริ่มต้นใช้งานวันนี้

สำรวจโมเดล ข้อมูล และรันไทม์เบื้องหลัง Cosmos3-H-Dreams:

โค้ดและตัวอย่าง Cosmos3-H-Dreams: GitHub repository
โมเดล Cosmos3-H-Dreams: Hugging Face checkpoint
Cosmos3-H-Embodied-Nano: Hugging Face model และ GitHub repository
ปรับให้เข้ากับข้อมูลของคุณเอง: Step-by-step recipe for teacher fine-tuning and self-forcing distillation
Open-H-Embodiment: Hugging Face dataset
FlashDreams: GitHub repository
NVIDIA Cosmos 3: GitHub repository

เราตั้งตารอที่จะได้เห็นสิ่งที่ชุมชนสร้างขึ้นภายในโลกแห่งการผ่าตัดใหม่เหล่านี้