Runway เปิดตัว Praxis-1 โอเพนซอร์สเปลี่ยนวิดีโอเป็นชุดควบคุมหุ่นยนต์

ประเด็นสำคัญ

• Runway ปล่อยโมเดลหุ่นยนต์ Praxis-1 พร้อม open weights และซอร์สโค้ดภายใต้ใบอนุญาต Apache 2.0
• โมเดลนี้ฝึกฝนด้วยวิดีโอและข้อมูลหุ่นยนต์ เพื่อประมวลผลภาพจากกล้อง คำสั่งข้อความ และตำแหน่ง เพื่อคำนวณการเคลื่อนที่ที่แม่นยำ
• แม้จะปรับตัวเข้ากับระบบหุ่นยนต์ใหม่ได้ง่าย แต่ Praxis-1 ยังมีข้อจำกัดในการแยกแยะวัตถุที่คล้ายกัน และยังไม่สามารถวางแผนลำดับการกระทำที่ซับซ้อนได้ด้วยตัวเอง

Runway บริษัท AI ชั้นนำเปิดตัว Praxis-1 โมเดลหุ่นยนต์แบบ open weights ที่ใช้การเรียนรู้จากวิดีโอมาเป็นพื้นฐานในการควบคุมหุ่นยนต์ ซึ่งแสดงผลลัพธ์ที่น่าประทับใจจากการทดสอบภายในองค์กร

Runway ได้เปิดตัว Praxis-1 ซึ่งเป็นโมเดล AI สำหรับควบคุมหุ่นยนต์อย่างเป็นทางการ หลังจากที่เคยแนะนำไปเมื่อช่วงปลายเดือนกันยายนและเปิดให้เข้าถึงเฉพาะพันธมิตรบางราย การเปิดตัวครั้งนี้มาพร้อมกับรายงานการวิจัยฉบับละเอียดและการทดสอบประสิทธิภาพใหม่ๆ

ทั้ง weights ของโมเดลและซอร์สโค้ดเปิดให้ใช้งานภายใต้ใบอนุญาต Apache 2.0 ซึ่งรองรับการนำไปใช้ในเชิงพาณิชย์ได้อย่างอิสระ

การทำงานของ Praxis-1 จะรับข้อมูลภาพจากกล้อง คำสั่งข้อความ และตำแหน่งปัจจุบันของหุ่นยนต์ เพื่อพยากรณ์การเปลี่ยนแปลงของสภาพแวดล้อมและคำนวณการเคลื่อนที่ที่ถูกต้อง โดยโมเดลจะปรับการควบคุมอย่างต่อเนื่องทันทีที่มีเฟรมภาพใหม่จากกล้องเข้ามา

Praxis-1 ต่อยอดจากการฝึกฝนด้วยวิดีโอเพื่อควบคุมหุ่นยนต์

Praxis-1 พัฒนาต่อยอดมาจากวิดีโอโมเดลที่เรียนรู้การเคลื่อนที่และปฏิสัมพันธ์ของวัตถุจากฟุตเทจทั่วไป จากนั้น Runway นำมาทำ fine-tuned ด้วยวิดีโอการกระทำของมนุษย์และข้อมูลหุ่นยนต์ วิธีการนี้ช่วยลดความจำเป็นในการใช้ชุดข้อมูลหุ่นยนต์เฉพาะทางที่มีราคาสูง ซึ่งมักใช้ในการฝึกระบบประเภทนี้

Runway ซึ่งเป็นที่รู้จักจากโมเดลสร้างวิดีโออย่าง Gen-4.5 กำลังขยายขอบเขตงานวิจัยเข้าสู่แวดวงหุ่นยนต์ โดยเรียก Praxis-1 ว่าเป็น World Action Model ที่สามารถพยากรณ์การเปลี่ยนแปลงของฉากและระบุการเคลื่อนที่ของหุ่นยนต์ที่เหมาะสมได้ ตั้งแต่เดือนกันยายนที่ผ่านมา บริษัทหุ่นยนต์อย่าง Standard Bots, Noble Machines และ Ultra ได้ทดสอบ Praxis-1 กับระบบที่หลากหลาย ทั้งหุ่นยนต์ฮิวแมนนอยด์ แขนกลอุตสาหกรรม และหุ่นยนต์คลังสินค้า

Praxis-1 ขึ้นเป็นผู้นำในกลุ่ม World Action Models

ในการปรับแต่งให้เข้ากับแขนกลหุ่นยนต์ Franka นั้น Runway ใช้ข้อมูลบันทึกประมาณ 277 ชั่วโมงจากชุดข้อมูล DROID ตามที่ระบุใน รายงานการวิจัย ส่วนหุ่นยนต์แบบสองแขนต้องใช้การฝึกฝนระหว่าง 1,400 ถึง 2,600 ชั่วโมง อย่างไรก็ตาม ยังคงเป็นประเด็นที่น่าสนใจว่าแนวทางนี้จะช่วยลดการใช้ข้อมูลหุ่นยนต์โดยรวมได้มากกว่าโมเดลที่ไม่ได้ฝึกผ่านวิดีโอมาก่อนหรือไม่

จากผลการทดสอบบน RoboLab-120 leaderboard ของ Nvidia Praxis-1 ทำคะแนนความสำเร็จได้ 46.2% ในการทดสอบคัดแยกและวางซ้อนวัตถุ 120 รูปแบบ ชนะ FLUX 3 Action ที่ทำได้ 42.9% ส่งผลให้ Praxis-1 ขึ้นเป็นอันดับหนึ่งในหมวด World Action Model และอันดับห้าในตารางรวม แม้ว่าผลการทดสอบนี้จะรันโดย Runway เองและยังไม่ได้รับการตรวจสอบจากภายนอกก็ตาม

นอกจากนี้ Runway ยังทดสอบความสามารถในการถ่ายโอนทักษะไปยังหุ่นยนต์ที่ไม่เคยเห็นมาก่อน เช่น แพลตฟอร์มหุ่นยนต์ของ Google ที่ใช้พัฒนา RT-1 พบว่าหลัง fine-tuning เพียง 95 ชั่วโมง Praxis-1 ทำคะแนนสำเร็จเฉลี่ย 80% ในขณะที่โมเดล RT-1 ดั้งเดิมทำได้เพียง 52.4% ในเบนช์มาร์กเดียวกัน

Praxis-1 ยังคงมีขีดจำกัดที่ชัดเจน

ผู้ที่สนใจสามารถดาวน์โหลด Praxis-1 ได้ที่ Hugging Face และเข้าถึง โค้ดอยู่บน GitHub ตาม ประกาศของ Runway โดยมีทั้งเวอร์ชันพื้นฐานและเวอร์ชันที่ปรับแต่งมาแล้วสำหรับหุ่นยนต์บางรุ่น

ด้านความต้องการระบบ เวอร์ชันมาตรฐานต้องใช้ GPU ที่มีหน่วยความจำ 80 GB ส่วนเวอร์ชันบีบอัดคาดว่าจะทำงานได้บน RTX 5090 ที่มี VRAM 32 GB แม้จะยังไม่มีการยืนยันตัวเลขการใช้งานจริงในเอกสาร GitHub ก็ตาม

อย่างไรก็ตาม โมเดลยังมีจุดอ่อนเรื่องการสับสนระหว่างวัตถุที่คล้ายกันและคำสั่งที่คลุมเครือ โดยในงานที่ยาวต่อเนื่องจำเป็นต้องระบุขั้นตอนย่อยให้ชัดเจน เนื่องจาก Praxis-1 ยังไม่สามารถวางแผนการกระทำที่ซับซ้อนได้อย่างอิสระ ในอนาคต Runway คาดหวังจะให้มันทำงานร่วมกับโมเดล AI อเนกประสงค์เพื่อแบ่งย่อยงานที่ยากให้ง่ายลง