Robbyant เปิดตัว LingBot-VLA 2.0: โมเดล VLA ขนาด 6B แบบ Open-Source คุมหุ่นยนต์ได้หลากหลายรูปแบบร่าง

Robbyant ภายใต้ Ant Group ได้เปิดตัว LingBot-VLA 2.0 โมเดลพื้นฐาน Vision-Language-Action (VLA) สำหรับหุ่นยนต์รุ่นล่าสุด โดยมาพร้อมรายงานทางเทคนิค ชุดโค้ดแบบ Apache-2.0 และ checkpoint ขนาด 6B ทีมวิจัยมุ่งแก้ปัญหาสำคัญที่โมเดล VLA มักทำงานได้ดีในห้องปฏิบัติการ แต่กลับมีข้อจำกัดเมื่อนำไปใช้งานจริงในสถานการณ์ทั่วไป

LingBot-VLA 2.0 ได้รับการพัฒนาต่อยอดจากเวอร์ชันก่อนหน้าใน 3 ด้านหลัก คือ การขยายขีดความสามารถทั่วไป (generalization), การเพิ่มพื้นที่การสั่งการ (action space) และการสร้างแบบจำลองพลวัตเพื่อคาดการณ์สถานการณ์ล่วงหน้า

LingBot-VLA 2.0 คืออะไร?

LingBot-VLA 2.0 คือนโยบายหุ่นยนต์แบบทั่วไป (generalist robot policy) ที่สร้างขึ้นบนโครงสร้าง Vision-Language ซึ่งจะทำหน้าที่ประมวลผลภาพจากกล้องและคำสั่งเสียง/ข้อความให้กลายเป็นการเคลื่อนที่ของหุ่นยนต์ โดยโมเดลรุ่น lingbot-vla-v2-6b ใช้ Qwen3-VL-4B-Instruct เป็นสถาปัตยกรรมหลักของ VLM และมีโมเดลครูอย่าง LingBot-Depth และ DINO-Video คอยกำกับดูแลการฝึกฝนผ่านกระบวนการ distillation

สำหรับการประมวลผล (inference) ในแต่ละครั้งจะใช้เวลาเพียง 130 ms บน NVIDIA GeForce RTX 4090D ผ่านขั้นตอน denoising 10 ขั้นตอน นอกจากนี้ยังใช้การออกแบบแบบ Mixture-of-Experts (MoE) ในส่วนของผู้เชี่ยวชาญด้านการสั่งการเพื่อรองรับการขยายขนาดของโมเดล

สายพานข้อมูล: 60,000 ชั่วโมง จากหุ่นยนต์ 20 รูปแบบ เพื่อเพิ่มความสามารถในการทำงานทั่วไป ทีมวิจัยได้รวบรวมข้อมูล pre-training กว่า 60,000 ชั่วโมง แบ่งเป็นแนววิถีการทำงานของหุ่นยนต์ 50,000 ชั่วโมง และวิดีโอจากมุมมองบุคคลที่หนึ่ง (egocentric) ของมนุษย์อีก 10,000 ชั่วโมง โดยครอบคลุม รูปแบบการกำหนดค่าหุ่นยนต์ถึง 20 ประเภท ตั้งแต่แขนกลเดี่ยวไปจนถึงหุ่นยนต์ฮิวแมนนอยด์เต็มรูปแบบ ข้อมูลเหล่านี้ถูกคัดกรองจากฐานข้อมูลดิบขนาด 110,000 ชั่วโมงเพื่อให้มั่นใจในคุณภาพระดับสูง

กระบวนการคัดกรองข้อมูลทำอย่างเป็นระบบ โดยใช้การคำนวณค่า jerk อันดับสามร่วมกับ Z-scores ของความเร็วและความเร่ง เพื่อตัดตัวอย่างที่มีการเคลื่อนที่เว่อร์เกินจริงหรือนิ่งค้างเกินไปออก วิดีโอจะถูกตรวจสอบเทียบกับไฟล์ URDF ของหุ่นยนต์แต่ละตัวเพื่อกำจัดภาพเบลอหรือมุมมองที่ไม่ตรงกัน ขณะที่คลิปจากมนุษย์จะถูกประมวลผลผ่าน VLM และ egocentric SLAM เพื่อสร้างท่าทางการเคลื่อนไหวของมือขึ้นใหม่ด้วย MANO

ในส่วนของการใส่คำอธิบายข้อมูล (Annotation) ใช้โมเดล Qwen3.6-27B ทำงานอัตโนมัติ โดยแบ่งวิดีโอออกเป็นงานย่อยตามลำดับเวลาและระบุคำสั่งพื้นฐาน (atomic action) เช่น การเคลื่อนย้าย (transit) หรือการรอ (idle)

การแทนค่าการสั่งการแบบรวมศูนย์ เนื่องจากหุ่นยนต์แต่ละชนิดมีข้อต่อแตกต่างกัน LingBot-VLA 2.0 จึงแก้ปัญหานี้ด้วยการใช้ เวกเตอร์มาตรฐาน 55 มิติ (55-dimensional canonical vector) สำหรับระบุสถานะและการสั่งการ ซึ่งเป็นรูปแบบตายตัวที่ใช้กับหุ่นยนต์ทุกตัวในชุดข้อมูล

หุ่นยนต์ที่ไม่ครอบคลุมอวัยวะบางส่วนจะถูกเติมด้วยเลขศูนย์ (pad) ในมิติที่เกี่ยวข้อง ทำให้โมเดลเดียวสามารถควบคุมได้ทั้งแขนกล, มือ, ตัวจับ, เอว, หัว และฐานเคลื่อนที่

MoE สำหรับผู้เชี่ยวชาญด้านการสั่งการ

ทีมวิจัยเปลี่ยนเครือข่าย feed-forward ให้เป็นเลเยอร์แบบ MoE ที่มีความกระจัดกระจาย (sparse) โดยแต่ละเลเยอร์จะมีทั้งผู้เชี่ยวชาญที่ใช้ร่วมกัน (shared expert) และผู้เชี่ยวชาญแบบกำหนดเส้นทาง (routed experts) ซึ่งจะถูกเรียกใช้เฉพาะกลุ่มที่เหมาะสมต่อทอเคนนั้นๆ ทำให้ไม่เป็นการเพิ่มภาระการคำนวณจนเกินไป

กลยุทธ์การกำหนดเส้นทางเป็นแบบ auxiliary-loss-free ที่ใช้ sigmoid (แรงบันดาลใจจาก DeepSeek-V3) เพื่อแก้ปัญหาความไม่สมดุลของโหลดการทำงานโดยไม่เสียประสิทธิภาพ จากการทดสอบพบว่าโมเดล MoE นี้มีค่า training loss และข้อผิดพลาดในการสั่งการต่ำกว่าโมเดลแบบ dense ทั่วไป

Dual-query distillation เพื่อการคาดการณ์เชิงพลวัต เพื่อให้โมเดลสามารถคาดการณ์สถานการณ์ในอนาคตได้ LingBot-VLA 2.0 ได้เพิ่ม query ที่เรียนรู้ได้สองชุด คือ Qt สำหรับการสังเกตปัจจุบัน และ Qt+T สำหรับการสังเกตการณ์ล่วงหน้า โดยมีโมเดลครู 2 รายคอยควบคุม คือ LingBot-Depth (ให้ข้อมูลด้านเรขาคณิตและความลึก) และ DINO-Video (ให้ข้อมูลด้านความหมายและกาลเวลา) ซึ่ง DINO-Video ถูกฝึกด้วยวิดีพอกว่า 5 ล้านคลิป และเป็นผู้นำในเกณฑ์วัด LARYBench

ผลการทดสอบ Benchmark

การประเมินผลทำบนเกณฑ์มาตรฐาน GM-100 (Great March 100) สำหรับหุ่นยนต์สองมือ ผลลัพธ์แสดงเป็น คะแนนความคืบหน้า / อัตราความสำเร็จ:

นอกจากนี้ยังผ่านการทดสอบในภารกิจระยะยาว (long-horizon) ทั้งในสภาพแวดล้อมปกติ (In-domain) และสภาพแวดล้อมที่มีการรบกวนวัตถุ (OOD):

จุดเด่นที่เห็นชัดคือความแม่นยำในการระบุตำแหน่ง เช่น การหยิบพวงกุญแจที่อัตราความสำเร็จพุ่งสูงถึง 100% อย่างไรก็ตาม ยังคงมีช่องว่างในขั้นตอนสุดท้ายของการวางตำแหน่งหรือการปล่อยวัตถุที่ต้องพัฒนาต่อไป

การเริ่มต้นใช้งาน

ผู้ใช้สามารถดาวน์โหลดน้ำหนักโมเดลและติดตั้งผ่านสคริปต์ใน repository:

# Environment: Python 3.12, PyTorch 2.8.0, flash-attn 2.8.3
python3 scripts/download_hf_model.py --repo_id robbyant/lingbot-vla-v2-6b --local_dir lingbot-vla

สำหรับการใช้งานจริงแบบรันเซิร์ฟเวอร์นโยบาย:

export QWEN3VL_PATH=path_to_Qwen3-VL-4B-Instruct
python -m deploy.lingbot_vla_v2_policy \
  --model_path path_to_posttraining_ckpt \
  --use_compile \
  --use_length 25 \
  --port port

การปรับแต่งเพิ่มเติม (Post-training) รองรับชุดข้อมูล LeRobot v2.1/v3.0 และ Muon optimizer โดยมี AdamW เป็นค่าสำรอง

กรณีการใช้งานจริง

พื้นที่การสั่งการที่ขยายเพิ่มขึ้นช่วยให้หุ่นยนต์ทำงานได้หลากหลายขึ้น:

• งานครัว: Astribot S1 สามารถคัดแยกของเข้าตู้เย็นพร้อมเคลื่อนที่ไปด้วยได้
• งานทำความสะอาด: Cobot Magic-ARX X5 สามารถเช็ดคราบฟองบนเตาและเปลี่ยนตำแหน่งมือได้
• งานหยิบจับ: ภารกิจบรรจุไข่และเครื่องมือด้วยสองมือใน GM-100
• มือที่คล่องแคล่ว: รองรับหุ่นยนต์อย่าง Unitree G1 และ Fourier GR-2 ที่ใช้มือแบบ 12-DoF

Interactive Dynamic Explainer

ประเด็นสำคัญ

• LingBot-VLA 2.0 ฝึกด้วยข้อมูลหุ่นยนต์และมนุษย์รวม 60,000 ชั่วโมง ครอบคลุมหุ่นยนต์ 20 รูปแบบ
• ใช้พื้นที่การสั่งการมาตรฐาน 55 มิติ ทำให้ควบคุมหุ่นยนต์ได้ทั้งร่างกายด้วยโมเดลเดียว
• ใช้สถาปัตยกรรม MoE ระดับทอเคนแบบไร้ auxiliary-loss เพื่อประสิทธิภาพที่สูงกว่าโมเดลแบบ dense
• ใช้ Dual-query distillation ผสานข้อมูลเรขาคณิตและกาลเวลาเพื่อการควบคุมล่วงหน้า
• มีประสิทธิภาพเหนือกว่า π0.5 และเวอร์ชันเดิมในเกณฑ์มาตรฐาน GM-100 และงานภารกิจระยะยาว

ศึกษาข้อมูลเพิ่มเติมได้ที่ Paper และ