เจาะลึก Omniverse: พลิกไอเดียสู่สถานการณ์จำลองด้วย Frontier AI Agents

การเปลี่ยนไอเดียสถานการณ์จำลองให้เป็นแอปพลิเคชันที่ใช้งานได้จริงนั้นมีขั้นตอนที่ซับซ้อน ตั้งแต่การรวบรวม asset การเชื่อมต่อระบบฟิสิกส์และการเรนเดอร์ ไปจนถึงการตรวจสอบความถูกต้องของฉาก นักพัฒนากำลังผสานโมเดล frontier AI เข้ากับ NVIDIA Omniverse libraries เพื่อเพิ่มประสิทธิภาพการทำงาน ทั้งการสร้างแอปพลิเคชันสำหรับสำรวจสถานการณ์ การตรวจสอบจุดบกพร่อง และการปรับปรุงงานออกแบบ

ในกระบวนการนี้ นักพัฒนาจะกำกับดูแล AI agents ผ่านคำสั่งภาษาธรรมชาติ (natural-language instructions) เพื่อตรวจสอบผลลัพธ์และปรับแต่งรายละเอียด โดยมี Omniverse libraries คอยสนับสนุนความสามารถด้านระบบฟิสิกส์ที่เร่งการประมวลผลด้วย GPU รวมถึงการเรนเดอร์และการจำลองเซ็นเซอร์ที่สมจริง

ลองสำรวจโปรเจกต์ต่างๆ ด้านล่างที่นำโมเดล frontier AI เช่น GPT-6 Astra มาใช้งานจริง พร้อมติดตามตัวอย่างใหม่ๆ จากทีม NVIDIA และเหล่านักพัฒนาใน ecosystem ได้อย่างต่อเนื่อง

สร้างเครื่องจำลองหุ่นยนต์ฮิวแมนนอยด์สำหรับสภาพแวดล้อมคลังสินค้า 🔗

สำรวจการควบคุมหุ่นยนต์ฮิวแมนนอยด์ตามหลักฟิสิกส์ในรูปแบบเกม ทั้งในมุมมองบุคคลที่หนึ่งและบุคคลที่สาม

ก่อนจะเปลี่ยนงานคลังสินค้าให้เป็นระบบอัตโนมัติ นักพัฒนาจำเป็นต้องมีสภาพแวดล้อมจำลองที่โต้ตอบได้เพื่อประเมินพฤติกรรมการทำงาน Frank DeLise ผู้จัดการผลิตภัณฑ์ Omniverse ของ NVIDIA จึงใช้ Astra เปลี่ยนคลังสินค้าแบบ SimReady และหุ่นยนต์ฮิวแมนนอยด์ ให้กลายเป็นเครื่องจำลองที่โต้ตอบได้ในหลากหลายมุมมอง

DeLise สั่งให้ Astra เชื่อมต่อ NVIDIA Omniverse libraries สำหรับฟิสิกส์ (ovphysx), การอัปเดตฉาก (ovstage), การเรนเดอร์ (ovrtx) และส่วนต่อประสานกับผู้ใช้ (ovui) นอกจากนี้ยังใช้ Astra ร่วมกับ SimReady (simready-foundation) เพื่อสร้างฉากทางกายภาพ ก่อนที่ Astra จะสร้างโค้ดแอนิเมชันและแอปพลิเคชันเพื่อรวมความสามารถทั้งหมดเข้าด้วยกัน

เรียนรู้วิธีการ จัดเตรียมและตรวจสอบความถูกต้องของหุ่นยนต์ SimReady ด้วยโมเดล frontier AI และ NVIDIA Omniverse libraries

เชื่อมต่อเวิร์กโฟลว์การทดสอบการขับขี่อัตโนมัติ 🔗

การเปลี่ยนแปลงของฉาก เซ็นเซอร์ หรือโมเดลการขับขี่ ส่งผลกระทบอย่างมากต่อการจำลองยานยนต์ไร้คนขับ Doyub Kim ผู้จัดการทีมเทคโนโลยีการจำลองที่ NVIDIA จึงใช้ Astra สร้าง "Zero to Alpamayo" สภาพแวดล้อมจำลองถนน Market Street ในซานฟรานซิสโกที่สามารถนำกลับมาใช้ใหม่ได้

Kim สั่งให้ Astra วางแผนเวิร์กโฟลว์และเชื่อมต่อระบบต่างๆ ทั้งการสร้าง asset, ระบบการจราจร, การจำลองเซ็นเซอร์ Omniverse RTX และ การขับขี่ Alpamayo เพื่อตรวจสอบการทำงานร่วมกัน ต้นแบบนี้กลายเป็นสนามทดสอบสำคัญสำหรับการเปรียบเทียบโมเดลและพฤติกรรมการขับขี่ นอกจากนี้ในการทดลอง Cosmos3-Nano ยังมีการจำลองสภาพแสงและอากาศที่ต่างกัน เพื่อเปรียบเทียบการตอบสนองของโมเดลภายใต้สถานการณ์เดียวกันได้แม่นยำขึ้น

ใช้ความแตกต่างของเซ็นเซอร์เพื่อสร้างและปรับปรุง Digital Twins 🔗

การเปรียบเทียบเอาต์พุตจากกล้องและ lidar ที่บันทึกไว้กับที่จำลองขึ้น ทำให้นักพัฒนาได้รับคำแนะนำตามตัวชี้วัดประสิทธิภาพ (KPI) เพื่อปรับแต่งฉาก

ในการทดสอบหุ่นยนต์และยานยนต์ไร้คนขับ ความแม่นยำของเซ็นเซอร์จำลองเมื่อเทียบกับของจริงเป็นสิ่งสำคัญ Ashley Reid จากทีมตรวจสอบความถูกต้องของเซ็นเซอร์ RTX ที่ NVIDIA สั่งให้ Astra และเอเจนต์ Claude Fable 5 เปรียบเทียบเอาต์พุตจากกล้อง ovrtx และข้อมูลดิบ LiDAR กับข้อมูลจริง โดยเอเจนต์สามารถสร้าง digital twins ขึ้นใหม่และปรับปรุงรายการเดิมที่มีอยู่ได้อย่างมีประสิทธิภาพ

ตลอดระยะเวลาสามวัน Reid ใช้เวิร์กโฟลว์แบบทำซ้ำ (iterative) เพื่อให้เอเจนต์วัดความแตกต่างและแก้ไขฉาก OpenUSD โดยมุ่งเน้นไปที่วัตถุที่หายไปและวัสดุต่างๆ ซึ่งผลงานจะถูกตรวจสอบผ่านเมทริกซ์ของกล้องและ LiDAR ช่วยให้นักพัฒนามีแนวทางที่ชัดเจนในการสร้างและปรับปรุงฉากจากค่าความคลาดเคลื่อนที่วัดได้จริง

เริ่มต้นด้วยการเรนเดอร์ฉาก OpenUSD ด้วย ตัวอย่าง Python ขั้นพื้นฐานของ ovrtx จากนั้นกำหนดการวัดค่าเซ็นเซอร์เพื่อเปรียบเทียบกับข้อมูลที่บันทึกไว้

Robo Olympics: ทดสอบทักษะหุ่นยนต์ด้วยการจำลอง 🔗

การฝึกท่าทางใหม่ๆ ให้หุ่นยนต์ต้องมั่นใจว่าทำงานได้จริงภายใต้กฎฟิสิกส์ Tae Kim ผู้นำฝ่ายวิศวกรรมของ NVIDIA Omniverse ได้ใช้วิดีโอกีฬาและคำสั่งภาษาธรรมชาติสั่งให้ Astra สร้างโปรเจกต์ "Robo Olympics" เพื่อทดสอบหุ่นยนต์ฮิวแมนนอยด์ Unitree G1 ในการแสดงท่าทางกีฬาต่างๆ

Astra ทำหน้าที่สร้างตัวควบคุม (controllers) และปรับแต่งผ่านการทดลองทางฟิสิกส์ โดยใช้ Newton Physics Engine จำลองพฤติกรรม พร้อมเฟรมเวิร์ก NVIDIA Warp ช่วยเร่งการคำนวณ และ ovrtx เรนเดอร์ภาพจากกล้องเสมือน ในการทดสอบพบว่าหุ่นยนต์สามารถกระโดดข้ามรั้วได้สำเร็จ 64 จาก 100 ครั้ง ข้อมูลเหล่านี้ช่วยให้ Kim นำไปปรับปรุงจังหวะการควบคุมหุ่นยนต์ให้ดียิ่งขึ้น

รับชม Kim สำรวจการสร้างการจำลอง ด้วย Astra และ NVIDIA Omniverse libraries

ทดสอบการแยกชิ้นส่วนของหุ่นยนต์ด้วยการออกแบบโดยใช้คอมพิวเตอร์ช่วยและการจำลอง 🔗

ก่อนจะให้หุ่นยนต์แยกชิ้นส่วนผลิตภัณฑ์ นักพัฒนาต้องมั่นใจว่าเครื่องมือสามารถเข้าถึงและถอดชิ้นส่วนได้จริง Jens Jebens ผู้จัดการผลิตภัณฑ์อาวุโส OpenUSD ของ NVIDIA จึงสั่งให้ Astra จำลองระบบกันสะเทือนของรถใน PTC Onshape และกำหนดค่าใน NVIDIA Isaac Sim

Jebens ใช้ Astra สำรวจงานออกแบบและปรับปรุงเครื่องมือ โดยเอเจนต์ได้ช่วยวัดพื้นที่ว่างและออกแบบประแจให้หุ่นยนต์เข้าถึงสลักเกลียวได้สำเร็จ การเชื่อมโยงการตัดสินใจด้านการออกแบบเข้ากับการจำลองผลลัพธ์ในครั้งนี้ ถือเป็นจุดเริ่มต้นสำคัญสำหรับการฝึกนโยบาย (policy training) ให้กับหุ่นยนต์ต่อไป

สำรวจ คู่มือผู้นำเข้า Onshape

นำสถานีอวกาศนานาชาติเข้าสู่เบราว์เซอร์ 🔗

การเปลี่ยนโมเดล 3D ให้เป็นแอปพลิเคชันที่สมบูรณ์ต้องอาศัยการเชื่อมต่อ asset และข้อมูลเรียลไทม์ Nic Johns ผู้อำนวยการฝ่ายวิศวกรรมที่ NVIDIA สั่งให้ Astra รวบรวม asset ของ NASA ให้เป็นโมเดลสถานีอวกาศนานาชาติในรูปแบบ OpenUSD พร้อมระบบ telemetry โดยสามารถสร้างแอปพลิเคชันและเปลี่ยนสภาพแวดล้อมได้ผ่านพรอมต์ง่ายๆ

เวิร์กโฟลว์นี้ใช้ Blender ในการเตรียม asset และใช้ Omniverse libraries สำหรับการเรนเดอร์ (ovrtx) การรันไทม์ฉาก และการสตรีม (ovstream) ทำให้สามารถนำโมเดล 3D และข้อมูลการปฏิบัติงานจริงขึ้นไปแสดงผลบนเบราว์เซอร์ได้ทันที

ลองใช้ ทักษะ Omniverse Real-Time Viewer

เปลี่ยนห้องที่บันทึกมาให้เป็นสภาพแวดล้อมการทดสอบ 🔗 เพื่อให้สภาพแวดล้อมดิจิทัลใช้งานได้จริง วัตถุในฉากต้องแก้ไขได้และมีพฤติกรรมทางฟิสิกส์ที่แม่นยำ Chirag Majithia จากทีมวิศวกรรม Isaac จึงใช้ Astra เปลี่ยนภาพจากกล้องสเตอริโอให้เป็นสตูดิโอ OpenUSD ที่ปรับแต่งได้

กระบวนการนี้รวม PyCuSFM, FoundationStereo และ nvblox เข้าด้วยกันเพื่อสร้างฉากใหม่ โดยมี Astra คอยจัดการ asset และใช้ USD Content Agents กำหนดพฤติกรรมการโต้ตอบของวัตถุ การทดสอบใน Isaac Sim ช่วยให้การแก้ไขจุดสัมผัสของประตูและลิ้นชักทำได้ง่ายขึ้น เชื่อมโยงเรขาคณิตจากโลกจริงเข้ากับการทดสอบการโต้ตอบแบบเสมือนได้อย่างไร้รอยต่อ

มีไอเดียสำหรับการจำลองไหม? สำรวจ NVIDIA Omniverse libraries เพื่อเริ่มสร้างด้วย AI agent