เปิดตัว Gemini 4 Argon ยกระดับหุ่นยนต์ด้วยการใช้เหตุผลเชิงกายภาพ

13 ต.ค. 2026

Gemini 4 Argon ถือเป็นก้าวกระโดดครั้งสำคัญของการเปลี่ยนแปลงในการทำความเข้าใจทางกายภาพ การสร้างโค้ด และการให้เหตุผลเชิงภาพ-ความหมาย (visual-semantic reasoning) ซึ่งช่วยปลดล็อกเวิร์กโฟลว์ใหม่ๆ ในทุกส่วนของระบบหุ่นยนต์ พร้อมเร่งความคืบหน้าไปสู่ AGI ทางกายภาพให้รวดเร็วยิ่งขึ้น

คุณสามารถเห็นความสามารถที่เหนือชั้นนี้ได้จาก เกณฑ์มาตรฐาน Embodied Reasoning (ERQA) ซึ่งทดสอบความสามารถของโมเดลในการทำความเข้าใจและแก้ปัญหาทางกายภาพและเชิงพื้นที่ในสภาพแวดล้อม 3 มิติ ด้วยการใช้เหตุผลล้วนๆ โดย Argon สามารถทำคะแนนได้สูงถึง 87% ซึ่งมีประสิทธิภาพเหนือกว่าทุกโมเดลระดับแนวหน้าอื่นๆ ในปัจจุบัน

ในฐานะโมเดลการให้เหตุผลทางกายภาพอเนกประสงค์ Argon สามารถนำไปใช้ได้ตลอดวงจรชีวิตของหุ่นยนต์ ในโพสต์นี้ เราจะแชร์ prompt ตัวอย่างสำหรับ Argon ใน 4 ด้านหลัก ได้แก่:

การควบคุมหุ่นยนต์ → การจัดการแบบเคลื่อนที่ (Mobile manipulation) ด้วยการฝึกฝนใน MuJoCo, การควบคุมหุ่นยนต์แบบ zero-shot และการบังคับทิศทางแบบ closed-loop ของโมเดลโลกในรูปแบบวิดีโอ

Real2Sim → การสร้างฝาแฝดจำลอง (simulation twins) ที่มีการปรับเทียบทางกายภาพจากฟีดกล้องของหุ่นยนต์, วิดีโอจากมุมมองบุคคล (egocentric) หรือภาพสเก็ตช์บนกระดาษที่เขียนด้วยมือ

ความเข้าใจทางกายภาพ → การติดป้ายกำกับย้อนหลังแบบต่อเนื่องหลายรูปแบบ (Agentic multimodal hindsight labeling) รวมถึงความเข้าใจอย่างละเอียดเกี่ยวกับความคล่องแคล่ว (dexterity), dense value functions และการประเมินความคืบหน้า

การวิจัยและการปรับปรุงตนเอง → การปรับปรุงการกระทำผ่านการจำลองและการปรับปรุงตนเองซ้ำๆ บนฮาร์ดแวร์จริง

ตัวอย่างความสำเร็จที่น่าสนใจคือ Argon สามารถควบคุมหุ่นยนต์สี่ขา Boston Dynamics Spot® (ขา 12-DoF + แขน 6-DoF) เพื่อเรียนรู้ทักษะใหม่ เช่น การเหยียบถังขยะแบบแป้นเหยียบเพื่อทิ้งกระป๋องน้ำอัดลม โดย Argon ได้สร้างฝาแฝดดิจิทัลใน MuJoCo ที่มีข้อต่อของถังขยะแบบแป้นเหยียบ เพื่อฝึกการเคลื่อนไหวก่อนที่จะลงมือปฏิบัติจริงบนฮาร์ดแวร์

ในการสาธิต Spot Mobile Manipulation เพื่อกำจัดขยะด้วยกระบวนการ Real-to-Sim-to-Real นั้น Spot จะหยิบกระป๋องน้ำอัดลม ตรวจสอบกล้องที่ข้อมือ ฝึกการทรงตัวแบบสามขาใน MuJoCo จากนั้นจึงเหยียบแป้นเหยียบ ตรวจสอบการจัดวางมือให้อยู่กึ่งกลางในถังที่เปิดอยู่ และหย่อนกระป๋องลงไปอย่างแม่นยำ

Prompt:

There's a Diet Coke can behind you and another on the black table on your left.
Use the spot-mobile-manipulation skill to pick them up and trash them in the black foot-pedal bin.
Before stepping down on the pedal, verify in the front cameras that your front-right foot target is centered on the pedal, and use a 2-agent verification swarm (foot-verifier and hand-verifier) to verify both the foot-pedal step and the 3D hand-in-bin alignment before releasing.

นอกจากนี้ Argon ยังควบคุมแขนหุ่นยนต์อย่างง่ายเพื่อตั้งแก้วที่ล้มอยู่ให้ตรงและใส่กระดาษชำระที่ขยำแล้วลงไปข้างใน โดยอาศัยการให้เหตุผลด้วยชุดควบคุมพิกัดภาพ (visual coordinate harness) และหน่วยพื้นฐานการกระทำ (action primitives) เพื่อปฏิบัติภารกิจนี้ในหลายขั้นตอน

ภาพการทำงานแสดงให้เห็นถึงมุมมองหุ่นยนต์จริงจากบุคคลที่สามทางด้านซ้าย และกล้องที่ข้อมือซึ่งปรับเทียบแล้วพร้อมพิกัดโลก 2 ซม. ที่ฉายออกมาพร้อมเส้นเล็งการปิดก้ามปูทางด้านขวา

Prompt:

[Attached: wrist_cam.png, obs.json]
Task: Get the robot arm to reorient the mug upright and put the napkin inside the mug.
## Execution Discipline
- Simply output 1 sentence observation followed immediately by your `curl` command (with `# Plan:` on Turn 1 and `# Thought:` on every turn). Everything needed is in `obs.json` and the calibrated reticle/grid drawn on `wrist_cam.png`.
## Visual Coordinate Reference (Annotated on wrist_cam.png)
- `+X` (UP in image): Away from robot base | `-X` (DOWN): Towards robot base
- `+Y` (LEFT in image): World left | `-Y` (RIGHT): World right
- `+Z`: Height above table | `Yellow numbers`: World (X, Y) in centimetres (2 cm grid at `grid_z`)
- `Cyan + crosshair`: Current 3D pinch center
- `Cyan [ + ] brackets`: Current jaw opening and closing line
- `Green line`: Current object long-axis orientation (`yaw_deg`: 0° = vertical along +X, 90° = horizontal along +Y)
- `pitch_deg = 90°`: Straight down (-Z) top-down grasp/place; `pitch_deg < 60°`: Tilted coaxial approach along finger axis
## Closed-Loop Turn Workflow
1. Inspect current state & view `wrist_cam.png`:
`curl -s http://127.0.0.1:8081/obs` (returns `ee_pos`, `holding`, `status`, `workspace`, `wrist_cam_path`).
2. Select VLM call granularity upfront on Turn 1:
- Coarse (2–4 calls): `look_at` -> `grasp` -> `place` -> `done`
- Pre-Grasp Hover Verify (4–7 calls): `look_at` -> `goto(z=0.04)` (verify cyan `[ + ]` brackets straddle target) -> `grasp` -> `place_until_contact` -> `done`
- Fine Visual Servoing (8–20 calls): `look_at` -> `grasp` -> pre-pose `goto` -> closed-loop `move_by` / `move_until_contact` -> `done`
3. Send motion primitives (`POST /plan`) and verify visually after every turn in the updated `wrist_cam.png`. If `status ==`