Google DeepMind เปิดตัว Gemini Robotics 2 ยกระดับ AI ควบคุมหุ่นยนต์ทั้งร่างกายและทำงานร่วมกันเป็นทีม
Google DeepMind ได้เปิดตัว Gemini Robotics 2 ซึ่งเป็นเลเยอร์อัจฉริยะสำหรับหุ่นยนต์รุ่นถัดไป การเปิดตัวครั้งนี้ถือเป็นการก้าวกระโดดจากการสั่งงานหุ่นยนต์หยิบจับวัตถุบนโต๊ะแบบเดิม ไปสู่การควบคุมการเคลื่อนไหวทั้งร่างกาย ความคล่องแคล่วของนิ้วทั้งห้า และการทำงานร่วมกันเป็นทีมของหุ่นยนต์ต่างประเภท โดยมาในรูปแบบของโมเดลแยกกัน 3 รุ่น พร้อมระดับการเข้าถึงที่แตกต่างกัน
หุ่นยนต์ส่วนใหญ่ในปัจจุบันมักถูกตั้งโปรแกรมไว้ล่วงหน้าหรือใช้การควบคุมจากระยะไกลสำหรับงานที่ซ้ำซากจำเจ ทำให้ไม่สามารถปรับตัวเข้ากับสภาพแวดล้อมที่คาดเดาไม่ได้ และทักษะที่เรียนรู้มักไม่สามารถถ่ายโอนไปยังหุ่นยนต์ตระกูลอื่นได้ Gemini Robotics 2 จึงถูกพัฒนาขึ้นเพื่อทลายข้อจำกัดเหล่านี้พร้อมกันทั้งสามด้าน
TL;DR
- เปิดตัวโมเดล 3 รุ่นพร้อมกัน ได้แก่ VLA, VL-M สำหรับการให้เหตุผลเชิงประจักษ์ และ VLA แบบ on-device
- โมเดล Checkpoint เดียวสามารถขับเคลื่อนได้ทั้ง Apollo 2 ที่มีรูปแบบมือต่างกัน และตัวหยิบจับของ Franka Duo
- Gemini Robotics ER 2 เปิดให้ทดลองใช้แบบสาธารณะ (public preview) ขณะที่รุ่น VLA และ on-device ยังจำกัดการเข้าถึง
- ความคล่องแคล่วของนิ้วมือยังคงเป็นโจทย์หิน โดยมีอัตราความสำเร็จตั้งแต่ 32% ถึง 92% ขึ้นอยู่กับประเภทองงาน
- แจกเกณฑ์มาตรฐานด้านความปลอดภัยใหม่ ASIMOV-Agentic บน Hugging Face ภายใต้ใบอนุญาต CC-BY-4.0
3 โมเดลและหน้าที่ของแต่ละรุ่น
Gemini Robotics 2 คือโมเดล vision-language-action (VLA) ที่ทำหน้าที่แปลงข้อมูลภาพและภาษาให้เป็นคำสั่งควบคุมมอเตอร์โดยตรง สามารถสั่งการหุ่นยนต์ฮิวแมนนอยด์ได้เต็มรูปแบบตั้งแต่าเท้าจนถึงปลายนิ้ว รวมถึงรองรับการหยิบจับที่ซับซ้อนทั้งแบบหลายนิ้วและแบบง่ามขนาน
Gemini Robotics ER 2 คือโมเดล embodied reasoning (ER) หรือโมเดลให้เหตุผลเชิงประจักษ์ ทำหน้าที่เป็นสมองระดับสูงเพื่อสื่อสารกับมนุษย์และวางแผนงานหลายขั้นตอน ตามรายละเอียดใน model card รุ่นนี้พัฒนาต่อยอดจาก Gemini 1.5 Flash รองรับข้อมูลมัลติโมดอลทั้งข้อความ ภาพ วิดีโอ และเสียง โดยมี Window บริบทสูงถึง 128k
Gemini Robotics On-Device 2 เป็นรุ่นประสิทธิภาพสูงที่ออกแบบมาเพื่อทำงานภายในตัวหุ่นยนต์โดยเฉพาะ ตามข้อมูลใน model card พัฒนาขึ้นจาก Gemini Robotics 1.5 และโมเดลตระกูล Gemma เพื่อประมวลผลการเคลื่อนไหว (proprioception) และการกระทำของหุ่นยนต์ในรูปแบบตัวเลขแบบเรียลไทม์
การออกแบบระบบเน้นการแบ่งงานอย่างเป็นลำดับ โดย ER 2 จะรับหน้าที่วางแผนและติดตามงานภาพรวม จากนั้นจึงส่งคำสั่งมอเตอร์ไปยัง VLA ซึ่งทำหน้าที่เป็นเครื่องมือ (tool) สั่งการระดับต่ำ วิธีนี้ช่วยให้นักพัฒนาสามารถสตรีมข้อมูลมัลติโมดอลเข้าสู่โมเดลเพื่อควบคุมหุ่นยนต์ได้อย่างลื่นไหล
การควบคุมทั้งร่างกายบน Apptronik Apollo 2
หากเปรียบเทียบกับรุ่นก่อนหน้าที่ควบคุมได้เฉพาะส่วนบน Gemini Robotics 2 ได้ขยายขีดความสามารถสู่การเคลื่อนไหวทั้งร่างกายเป็นครั้งแรก ตัวอย่างที่เห็นได้ชัดคือการทำงานบน Apptronik’s Apollo 2 เมื่อได้รับคำสั่ง "นำบัวรดน้ำไปวางในถังสีเขียวที่ชั้นล่างสุด" หุ่นยนต์สามารถเดินไปที่โต๊ะ หยิบวัตถุ และเดินไปยังชั้นวางเพื่อวางลงตามเป้าหมายได้อย่างแม่นยำ อย่างไรก็ตาม Google DeepMind ยอมรับว่ายังต้องพัฒนาเรื่องความเร็วในการเคลื่อนที่ต่อไป
ความคล่องแคล่วในหลายรูปแบบมือและตัวหยิบจับ
ความสามารถที่น่าทึ่งคือการควบคุมมือ SharpaWave แบบ 5 นิ้วที่มีอิสระในการเคลื่อนไหวถึง 22 ระดับบน Apollo 2 ซึ่งสามารถทำภารกิจที่ละเอียดอ่อนอย่างการผูกปมหรือปิดถุงซิปล็อกได้ ในขณะเดียวกันโมเดลเดียวกันนี้ยังสั่งงานหุ่นยนต์ Franka Duo platform ที่ใช้ตัวหยิบจับแบบ 2 นิ้วในการจัดของลงกล่องได้อีกด้วย
จากการทดสอบด้วยโมเดล Checkpoint เดียวกันกับหุ่นยนต์หลายประเภท พบอัตราความสำเร็จในงานต่างๆ ดังนี้:
| หมวดหมู่ | รูปแบบร่างกาย | งาน | อัตราความสำเร็จ |
|---|---|---|---|
| การจัดการทั้งร่างกายทั่วไป | Apollo 2 + มือ Inspire | หยิบจากชั้นวาง | 76.3% |
| การจัดการทั้งร่างกายทั่วไป | Apollo 2 + มือ Inspire | หยิบจากพื้น | 45.7% |
| ความคล่องแคล่วของหลายนิ้ว | Apollo 2 + มือ Sharpa | คลายหลอดไฟ | 92% |
| ความคล่องแคล่วของหลายนิ้ว | Apollo 2 + มือ Sharpa | ผูกถุงขยะ | 44% |
| ความคล่องแคล่วของตัวหยิบจับ | Franka Duo | งานเสียบวัตถุที่แม่นยำ | 89.6% |
ER 2: ความฉลาดด้านเวลาและการจัดระเบียบเครื่องมือ
ข้อมูลจาก โพสต์ของนักพัฒนาบน X ระบุว่า ER 2 พยายามแก้ปัญหาเรื่องการรับรู้ความสำเร็จของงาน (Progress classification) โดยสามารถประเมินความคืบหน้าจากวิดีโอได้แม่นยำ 57.4% ซึ่งดีกว่าโมเดลคู่แข่งในปัจจุบัน
นอกจากนี้ยังมีความโดดเด่นเรื่อง "การค้นหาจังหวะเวลา" (Moment finding) เช่น การระบุวินาทีที่ควรหยุดรินกาแฟ โดยมีความแม่นยำถึง 91.3% และคลาดเคลื่อนเพียง 0.96 วินาที ซึ่งทำงานเร็วกว่าโมเดลขนาดใหญ่ถึง 4 เท่า ทั้งยังเชื่อมต่อกับ Gemini Live API เพื่อลดอาการ "หยุดคิด" ระหว่างขั้นตอนงาน ทำให้การทำงานต่อเนื่องมากกว่าเดิม
ความสามารถด้านมิติสัมพันธ์ยังได้รับการอัปเดตให้อ่านค่าจากหน้าจอดิจิทัล ไม้บรรทัด และเทอร์โมมิเตอร์ได้ โดย Google DeepMind ได้ร่วมกับ Boston Dynamics สาธิตการใช้ ER 2 ควบคุมหุ่นยนต์ Spot ในการนำทางและจัดการวัตถุ ซึ่งผู้สนใจสามารถดูตัวอย่างโค้ดได้ที่ robotics-samples repository
การทำงานร่วมกันของหุ่นยนต์หลายตัว
แนวคิดสำคัญของ Gemini Robotics 2 คือการประสานงานระหว่างหุ่นยนต์ต่างชนิด (shared semantic understanding) เนื่องจากหุ่นยนต์แต่ละประเภทมีความถนัดต่างกัน เช่น หุ่นยนต์ล้อเหมาะกับการเคลื่อนที่บนพื้นเรียบ ส่วนหุ่นยนต์ฮิวแมนนอยด์เหมาะกับพื้นที่ต่างระดับ โดยได้สาธิตการทำงานร่วมกันระหว่าง Apollo 2 ของ Apptronik และ Franka F3 Duo
On-Device 2: การปรับตัวเข้ากับร่างหุ่นยนต์ใหม่
โมเดล Gemini Robotics On-Device 2 ออกแบบมาเพื่อแก้ปัญหาความล่าช้าของเครือข่าย โดยสืบทอดเทคนิคถ่ายโอนการเคลื่อนไหวจาก Gemini Robotics 1.5 ช่วยให้หุ่นยนต์ต่างร่างเรียนรู้งานใหม่ได้เร็วอย่างไม่น่าเชื่อ
ผลการทดสอบแสดงให้เห็นว่า โมเดลนี้สามารถปรับตัวเข้ากับหุ่นยนต์สองแขนรุ่นใหม่ได้ภายในไม่กี่ชั่วโมงโดยใช้ข้อมูลตัวอย่างไม่ถึง 200 รายการ โดยเฉพาะบนแพลตฟอร์ม SO101 ที่รุ่น On-Device 2 ทำคะแนนขยายข้อมูลได้ถึง 53.3% เมื่อเทียบกับรุ่นแรกที่แทบจะทำไม่ได้เลย
การเปิดให้ใช้งาน
| โมเดล | การเข้าถึง |
|---|---|
| Gemini Robotics ER 2 | Public preview ผ่าน AI Studio (รหัส gemini-robotics-er-2-preview) |
นักพัฒนาสามารถศึกษาขั้นพื้นฐานได้ที่ robotics-samples repository
แหล่งที่มา: การประกาศ Gemini Robotics 2, โพสต์สำหรับนักพัฒนา Gemini Robotics ER 2, ER 2 model card, On-Device 2 model card, ชุดข้อมูล ASIMOV-Agentic และ รายงานเทคนิคด้านความปลอดภัย
ความคิดเห็น (0)
เข้าสู่ระบบเพื่อร่วมแสดงความเห็น
สมัครสมาชิกมาเป็นคนแรกที่แสดงความเห็นกันเลยโบร