Alibaba เปิดตัว QwenGyre เฟรมเวิร์ก Elastic RL สำหรับ AI Agent

ทีม Qwen ของ Alibaba ได้เปิดตัว QwenGyre ซึ่งเป็นเฟรมเวิร์ก elastic reinforcement learning RL สำหรับการฝึกฝน agent ที่มีระยะเวลาทำงานยาวนานเป็นพิเศษ (extreme-long-horizon) ระบบนี้เป็นแนวทาง online reinforcement learning ที่ฝึกฝน coding agent ผ่านระบบทดสอบแบบ black-box โดยไม่มีการดัดแปลง เพื่อรองรับกระบวนการ (rollouts) ที่ทำงานนานหลายชั่วโมงและประมวลผลได้เกือบ 1 ล้านโทเคน

เฟรมเวิร์ก QwenGyre elastic RL ถูกนำไปใช้กับโมเดลเรือธง Qwen 3.8 2.4T ของ Qwen ระบบนี้พัฒนาขึ้นบนแนวคิดหลัก 2 ประการ คือ การเคลื่อนย้าย GPU ที่ว่างอยู่ระหว่างช่วง rollout และการฝึกฝน (training) รวมถึงการเปลี่ยนประวัติการทำงานของ agent ที่มีลักษณะแตกแขนง (branching) ให้กลายเป็นกลุ่มตัวอย่างการฝึกฝนที่มีขอบเขตจำกัด

TL;DR

• ขนาด: เป็นเฟรมเวิร์กการฝึกฝนไม่ใช่ตัวโมเดล ทดสอบกับ Qwen 3.6 122B และ Qwen 3.8 2.4T (- A95B ตามข้อมูลของ Qwen) โดยมีโทเคนประมาณ 700,000 โทเคนต่อหนึ่ง rollout
• รันบน: คลัสเตอร์ GPU แบบหลายโหนด รุ่น 122B ใช้ 24 ถึง 32 โหนด ส่วนรุ่น 2.4T ใช้ 192 โหนด (แบ่งเป็น 4 เซลล์ เซลล์ละ 48 โหนด) ใช้ Megatron ในการฝึกฝน และ SGLang ในการให้บริการ rollout
• ประสิทธิภาพ: ทำงานเร็วกว่าระบบ Async 1.38 ถึง 1.78 เท่า และเร็วกว่า Colocate 1.21 ถึง 1.85 เท่า ที่ระดับคะแนนเดียวกัน
• ผลลัพธ์ที่ดีที่สุด: ความเร็วเพิ่มขึ้นแบบ end-to-end 1.85 เท่าเมื่อเทียบกับ Colocate บน TerminalBench
• สรุปผล: คะแนน NL2RepoBench เพิ่มขึ้นจาก 52.5% เป็น 58.5% ภายใน 48 ขั้นตอน แต่ปัจจุบันยังไม่มีการเปิดเผยโค้ดสู่สาธารณะ

QwenGyre แก้ปัญหาอะไร?

ทีมวิจัยนิยามงานแบบ 'XLong-horizon' ว่าเป็นการทำงานของ agent ที่กินเวลานานหลายชั่วโมงและมีการโต้ตอบกับเครื่องมือนับร้อยครั้ง เช่น การสร้างคลังเก็บโค้ด (repository) ทั้งหมดจากข้อกำหนดทางเทคนิค ดังที่ปรากฏใน NL2Repo-Bench

ปัญหาสำคัญที่พบในสเกลนี้คือ rollouts มักมีลักษณะ long tails ซึ่งในการตั้งค่าแบบ Colocate การฝึกฝนต้องรอการทำงานที่ช้าที่สุดทำให้ GPU อื่นว่างงานอย่างไร้ประโยชน์ ขณะที่แบบ Async ไม่สามารถแบ่งปันทรัพยากรส่วนเกินได้

นอกจากนี้ ระบบทดสอบอย่าง Claude Code มักมีการบีบอัดบริบท (context) และการลองใหม่ ทำให้หนึ่งงานกลายเป็นโครงสร้างต้นไม้ที่แตกกิ่งก้าน (branching tree) แทนที่จะเป็นเส้นทางเดียว การขยายทุกเส้นทางจึงทำให้เกิด prefix ที่ซ้ำซ้อนและเพิ่มต้นทุนการฝึกฝนโดยไม่จำเป็น

Elastic Scheduler ทำงานอย่างไร?

QwenGyre แบ่ง GPU ออกเป็นเซลล์ที่ใช้โครงสร้างการฝึกฝน (training layout) ร่วมกัน โดยแต่ละเซลล์สามารถสลับไปทำหน้าที่ได้ทั้ง rollout หรือเป็นตัวสำรองการฝึกฝน (training replica) เซลล์หลัก (core cell) จะเก็บน้ำหนัก (weights) และสถานะ optimizer ส่วนเซลล์บริวาร (satellite cells) จะเข้าร่วมการฝึกฝนตามความเหมาะสม

ตัวจัดคิว (scheduler) จะติดตามระดับน้ำ (waterlevel) หรือคิวงานของ rollout หากงานในคิวเริ่มลดลง เซลล์จะเปลี่ยนไปทำหน้าที่ฝึกฝนแทน โดยการเรียกใช้งานโมเดลจะส่งผ่านพร็อกซี (proxy) เพื่อให้ระบบทดสอบยังคงทำงานต่อไปได้ไม่สะดุด

กลไกสำคัญประกอบด้วยการย้ายบล็อก KV-cache ผ่าน RDMA เพื่อลดการคำนวณ prefix ใหม่ และการใช้ Transfer Engine ของ Mooncake เพื่อดึงน้ำหนักโมเดลมาใช้ในแบตช์ที่กำลังดำเนินอยู่ทันที ซึ่งการสลับบทบาทจาก rollout ไปฝึกฝนใช้เวลาเฉลี่ยเพียง 8.52 วินาที

Trajectory Processor สร้างตัวอย่างการฝึกฝนได้อย่างไร?

พร็อกซีจะบันทึก ID ของโทเคนและความเป็นไปได้ของพฤติกรรม (behavior log-probabilities) ด้วยระบบ token-in, token-out (TITO) โดยจัดเก็บในรูปแบบของโครงสร้างต้นไม้ของเส้นทางที่ใช้ prefix ร่วมกัน (prefix-shared trajectory trees)

ระบบรองรับการให้คะแนนบางส่วน (Partial scoring) แม้การประมวลผลจะหมดเวลา แต่ผลงานที่บันทึกไว้ยังคงถูกนำมาประเมินค่าตอบแทน นอกจากนี้ยังมีการสุ่มตัวอย่างแบบจำกัด (Bounded sampling) ไม่เกิน 5 เส้นทางต่อการประมวลผลเพื่อลดภาระงานลง 25.2% แต่ยังให้ประสิทธิภาพเท่าเดิม โดยใช้เทคนิค GSPO ที่ดัดแปลงให้มี 16 rollouts ต่อกลุ่ม

QwenGyre เร็วแค่ไหน? ผลลัพธ์เบนช์มาร์ก

การทดสอบอ้างอิงจาก Claude Code 2.1.220 ภายใต้งบประมาณ GPU ที่เท่ากัน พบว่าในโมเดล 2.4T QwenGyre ทำงาน 48 ขั้นตอนเสร็จสิ้นใน 75.42 ชั่วโมง เร็วกว่า Async ที่ใช้เวลาถึง 134.55 ชั่วโมง และ Colocate ที่ใช้ 91.47 ชั่วโมง

สรุปสาระสำคัญ

QwenGyre โดดเด่นในการเคลื่อนย้ายทรัพยากร GPU ระหว่างขั้นตอน rollout และการฝึกฝนได้โดยไม่ต้องหยุดการทำงานของ agent ที่กำลังรันอยู่ พร้อมทั้งใช้การจัดการโครงสร้างต้นไม้ของเส้นทางเพื่อลดความซ้ำซ้อนของข้อมูล ทำให้ประสิทธิภาพในงานระดับสูงอย่าง NL2RepoBench เพิ่มขึ้นอย่างชัดเจนในระยะเวลาที่สั้นลง