NVIDIA ผนึก Hugging Face ยกระดับ LeRobot ด้วยโมเดลและเฟรมเวิร์กใหม่เพื่อชุมชนหุ่นยนต์แบบเปิด

AI แบบโอเพนซอร์สได้พิสูจน์ให้เห็นแล้วว่านักพัฒนาสามารถสร้างนวัตกรรมได้อย่างรวดเร็วเพียงใดเมื่อมีการแบ่งปันโมเดล ข้อมูล และเครื่องมือร่วมกัน ซึ่งวงการหุ่นยนต์ก็มีโอกาสเช่นเดียวกัน แต่ความก้าวหน้าในการพัฒนา AI เชิงกายภาพ มักถูกจำกัดด้วยทรัพยากรที่มีราคาสูงและกระจัดกระจาย ตั้งแต่ชุดข้อมูลขนาดใหญ่และโมเดลพื้นฐานหุ่นยนต์ ไปจนถึงเครื่องมือจำลอง การประมวลผล และการตรวจสอบความถูกต้อง

NVIDIA และ Hugging Face จึงร่วมมือกันนำโมเดล NVIDIA Isaac GR00T 1.7 ซึ่งเป็นโมเดล Vision Language Action (VLA) แบบเปิดสำหรับการให้เหตุผลใน หุ่นยนต์ฮิวแมนนอยด์ และเฟรมเวิร์ก NVIDIA Isaac Teleop มาสู่ LeRobot ซึ่งเป็นไลบรารีโอเพนซอร์สสำหรับหุ่นยนต์ของ Hugging Face โดยมีแผนจะนำโมเดลล้ำสมัยอย่าง NVIDIA Cosmos 3 ตามมาในเร็วๆ นี้ การบูรณาการเหล่านี้ช่วยให้นักพัฒนามีมาตรฐานและเส้นทางที่เข้าถึงง่ายสำหรับการพัฒนาหุ่นยนต์แบบครบวงจร (end-to-end) พร้อมขับเคลื่อนนวัตกรรมการทำงานร่วมกันในชุมชนหุ่นยนต์แบบเปิด

“โอเพนซอร์สคือหัวใจสำคัญในการเปลี่ยนงานวิจัยชั้นสูงให้กลายเป็นสิ่งที่ผู้คนสามารถศึกษา ปรับใช้ และต่อยอดได้” Thomas Wolf ผู้ร่วมก่อตั้งและหัวหน้าฝ่ายวิทยาศาสตร์ของ Hugging Face กล่าว “การนำ NVIDIA Isaac GR00T 1.7 และ Isaac TeleOp เข้าสู่ LeRobot ในวันนี้ ช่วยให้นักพัฒนาหุ่นยนต์สามารถใช้โมเดล ข้อมูล และเวิร์กโฟลว์ร่วมกันเพื่อฝึกฝนและประเมินผลหุ่นยนต์ในระบบเปิดได้ และด้วย NVIDIA Cosmos 3 ที่มีแผนจะเปิดตัวลำดับถัดไป ชุมชนจะมีแนวทางในการนำโมเดลโลก (world models) ระดับแนวหน้าเข้าสู่ลูปการทำงานร่วมกันนี้ได้โดยตรง”

โครงสร้างพื้นฐานแบบเปิดสำหรับโมเดลหุ่นยนต์

Hugging Face LeRobot คือไลบรารีหุ่นยนต์โอเพนซอร์สที่ใช้สำหรับการฝึกฝน การรัน และการแบ่งปันชุดข้อมูลหุ่นยนต์ รวมถึงโมเดล นโยบาย (policies) และเวิร์กโฟลว์ต่างๆ โดยความร่วมมือระหว่าง NVIDIA และ Hugging Face ในครั้งนี้ จะช่วยเชื่อมโยงนักพัฒนาหุ่นยนต์ 3 ล้านคนของ NVIDIA เข้ากับผู้สร้าง AI 16 ล้านคนของ Hugging Face เพื่อขยายการเข้าถึงเครื่องมือ AI เชิงกายภาพที่ล้ำสมัยผ่านเวิร์กโฟลว์แบบเปิด

การนำขีดความสามารถด้าน AI เชิงกายภาพของ NVIDIA มาสู่ LeRobot ช่วยให้นักพัฒนามีวิธีมาตรฐานในการสร้างมาตรฐานข้อมูล การฝึกฝนและปรับจูนโมเดลพื้นฐานหุ่นยนต์ การประเมินประสิทธิภาพ และการปรับใช้โมเดลผ่านเวิร์กโฟลว์เปิด ดังนี้:

• NVIDIA Isaac Teleop: เฟรมเวิร์กโอเพนซอร์สสำหรับการเก็บข้อมูลหุ่นยนต์ ช่วยให้นักพัฒนาบันทึกการสาธิตโดยมนุษย์ที่มีคุณภาพสูงจากอุปกรณ์ภายนอกในรูปแบบมาตรฐาน และสามารถขยายหรือแบ่งปันชุดข้อมูลกับชุมชนได้โดยตรงใน LeRobot
• NVIDIA Isaac GR00T 1.7: โมเดลพื้นฐานหุ่นยนต์แบบเปิดรุ่นแรกที่สามารถใช้งานในเชิงพาณิชย์ได้ ช่วยให้การทำ post-train และการปรับใช้โมเดลผ่านเวิร์กโฟลว์ของ LeRobot เป็นเรื่องง่ายขึ้น เปิดโอกาสให้นักพัฒนาปรับใช้ GR00T กับหุ่นยนต์รูปลักษณ์ใหม่และงานรูปแบบใหม่ๆ พร้อมประสิทธิภาพระดับมาตรฐาน
• NVIDIA Cosmos 3: โมเดลพื้นฐานโลก (world foundation model) สำหรับ AI เชิงกายภาพที่กำลังจะเข้าสู่ LeRobot เร็วๆ นี้ จะช่วยให้นักพัฒนาสร้างและเพิ่มพูนข้อมูลจำลองสถานการณ์ เพื่อสนับสนุนการพัฒนานโยบายในกรณีที่ข้อมูลโลกจริงมีจำกัดหรือมีต้นทุนในการจัดเก็บสูงเกินไป

นอกจากนี้ การบูรณาการดังกล่าวยังต่อยอดมาจากชุดทรัพยากรของ NVIDIA ที่เชื่อมต่อกับ LeRobot อยู่แล้ว เพื่อรองรับวงจรการพัฒนาหุ่นยนต์ที่สมบูรณ์ ได้แก่:

• ชุดข้อมูล AI เชิงกายภาพแบบโอเพนซอร์ส ชุดใหญ่ที่มีการดาวน์โหลดมากกว่า 15 ล้านครั้ง ประกอบด้วยแนวทางการเคลื่อนที่ (trajectories) เสมือนจริงและจำลองกว่า 350,000 รายการ และการฝึกหยิบจับ (grasps) 57 ล้านครั้ง
• เฟรมเวิร์กการจำลองผ่าน NVIDIA Isaac Sim และ Isaac Lab เพื่อช่วยตั้งค่าสภาพแวดล้อม สร้างข้อมูล ทดสอบนโยบาย และตรวจสอบพฤติกรรมก่อนนำไปใช้กับหุ่นยนต์จริง
• NVIDIA Isaac Lab-Arena ใน LeRobot Environment Hub ช่วยให้นักพัฒนาสร้างสภาพแวดล้อมจำลองที่ซับซ้อนได้อย่างรวดเร็ว และใช้งานในระบบนิเวศ LeRobot เพื่อฝึกฝนและประเมินผลนโยบายหุ่นยนต์ทั่วไป เช่น GR00T, Pi และ SmolVLA
• การบูรณาการ NVIDIA Jetson Thor กับ Reachy 2 ของ LeRobot เพื่อรองรับการนำโมเดล VLA ไปใช้งานบนหุ่นยนต์ฮิวแมนนอยด์แบบโอเพนซอร์ส

ศึกษาข้อมูลเพิ่มเติมเกี่ยวกับวิธีใช้ Isaac Teleop, Isaac GR00T 1.7 และ Isaac Lab-Arena ร่วมกับ LeRobot เพื่อการพัฒนาหุ่นยนต์ฮิวแมนนอยด์แบบครบวงจร และ สำรวจเวิร์กโฟลว์การบูรณาการ LeRobot โดยละเอียด