Tencent เปิดตัว AngelSpec เฟรมเวิร์ก Open-Source เร่งสปีดการเทรน Speculative Decoding ให้โมเดล AI

Tencent เปิดตัว AngelSpec เฟรมเวิร์กแบบโอเพนซอร์ส (torch-native) สำหรับการฝึกสอน draft models เพื่อใช้งานในกระบวนการ speculative-decoding โดยรองรับทั้งสถาปัตยกรรมแบบ multi-token prediction (MTP) และตระกูล DFlash แบบ block-parallel

หัวใจสำคัญของ AngelSpec คือการมองว่าความหลากหลายของประเภทงาน (workload) คือปัจจัยหลักในการออกแบบ เนื่องจากโมเดลเพียงตัวเดียวมักไม่สามารถตอบโจทย์การใช้งานจริงได้ครอบคลุม เฟรมเวิร์กนี้จึงเน้นความเชี่ยวชาญเฉพาะด้าน ทั้งในส่วนของโครงสร้าง ข้อมูลที่ใช้เทรน และความลึกในการตรวจสอบตามข้อจำกัดของแต่ละงาน

ทำไม drafter แบบครอบจักรวาลเพียงตัวเดียวถึงมีประสิทธิภาพต่ำ

Speculative decoding เป็นเทคนิคที่ช่วยเพิ่มความเร็วโดยไม่เสียคุณภาพ (lossless) โดยใช้โมเดลขนาดเล็ก (drafter) คาดเดาโทเคนในอนาคตเพื่อให้โมเดลหลัก (target model) ตรวจสอบ ความเร็วที่ได้จะขึ้นอยู่กับจำนวนโทเคนได้รับยอมรับ ระยะเวลาที่ใช้ในแต่ละรอบ และลักษณะของเนื้อหาที่ประมวลผล

ในการสนทนาทั่วไปที่มีความซับซ้อน (high-entropy) อัตราการยอมรับโทเคนที่คาดเดาจะลดลงอย่างรวดเร็วเมื่อเดายาวขึ้น การใช้ MTP drafting ที่เสนอชุดลำดับสั้นๆ จึงเหมาะสมกว่า ในทางกลับกัน งานด้านโค้ดและการคำนวณมักมีรูปแบบที่คาดเดาได้ยาวและชัดเจนกว่า ซึ่งเหมาะกับการใช้ block-parallel drafting ในการลดภาระการประมวลผล

ด้วยเหตุนี้ AngelSpec จึงมาพร้อมกับ drafter สองตัวที่ทำงานเสริมกัน ได้แก่ โมเดล MTP ที่เน้นการสนทนาหลากหลาย และโมเดล block-diffusion ที่เสริมความแกร่งด้วยตัวอย่างด้านโค้ดและคณิตศาสตร์โดยเฉพาะ

เส้นทาง MTP: Training-Time Test และการทำ target-model rollout

เดิมทีโมเดล Hy3 ถูกเทรนด้วยเลเยอร์ MTP ชั้นเดียว ซึ่งมักเกิดความผิดพลาดสะสมเมื่อต้องสร้างลำดับยาวๆ จนทำให้อัตราการยอมรับในตำแหน่งลึกๆ ต่ำลงมาก AngelSpec จึงเข้ามาแก้ปัญหานี้ด้วยกลไก shared-parameter, multi-depth ที่ช่วยให้การทำนายในแต่ละระดับมีความแม่นยำและสอดคล้องกันมากขึ้นตามหลักการ Training-Time Test ของ EAGLE-3

นอกจากนี้ ยังมีการปรับปรุงประสิทธิภาพผ่านการแช่แข็ง (frozen) ส่วน backbone และ language-model head ของโมเดลเป้าหมายไว้ เพื่อให้ drafter ปรับปรุงการกระจายข้อเสนอได้โดยไม่กระทบต่อส่วนการตรวจสอบ พร้อมใช้เทคนิค target-model rollout ให้โมเดลเรียนรู้จากคำตอบที่สร้างโดยโมเดลเป้าหมายจริง แทนที่จะใช้เพียงคลังข้อมูลอ้างอิงต้นฉบับเพียงอย่างเดียว

ผลลัพธ์จากการปรับปรุงพบว่าค่าเฉลี่ยการยอมรับเพิ่มขึ้นจาก 52.8% เป็น 66.4% และความยาวเฉลี่ยที่ยอมรับได้เพิ่มขึ้นเป็น 2.99 โดยเฉพาะในโจทย์คณิตศาสตร์อย่าง GSM8K ที่ตำแหน่งลึก (p3) มีอัตราการยอมรับพุ่งสูงขึ้นจาก 0.290 เป็น 0.706 เลยทีเดียว

DFly: hybrid target conditioning และ predecessor-conditioned AR head

DFly คือสถาปัตยกรรมที่พัฒนาต่อยอดจาก DFlash โดยมีการเปลี่ยนแปลงโครงสร้างสำคัญ 2 ประการ ได้แก่ กระดูกงูแบบ Hybrid target-conditioning ที่รวมเอาจุดเด่นของการแชร์บริบทกับความยืดหยุ่นในแต่ละเลเยอร์เข้าด้วยกัน และการเพิ่ม Predecessor-conditioned autoregressive head ขนาดเล็กเพื่อช่วยลดปัญหาการยอมรับที่ลดลงในส่วนปลายของบล็อก (suffix acceptance decay)

ประสิทธิภาพในช่วงเริ่มต้น

จากการทดสอบบน Qwen3-8B พบว่า DFly ทำความยาวเฉลี่ยที่ได้รับการยอมรับสูงถึง 5.41 ทิ้งห่างทั้ง DFlash และ MTP โดยทำผลงานได้ดีที่สุดในเกณฑ์วัดด้านคณิตศาสตร์และโค้ดทั้ง 5 รายการ ขณะที่บน Hy3-A21B ประสิทธิภาพของ DFly ยิ่งโดดเด่นด้วยการทำคะแนนได้ 4.79 ซึ่งสูงกว่า MTP ถึง 59.7%

ปัจจัยที่ทำให้ DFly ประสบความสำเร็จมาจากการใช้ backbone ที่ทรงพลัง การเพิ่ม Markov head ระบบ hidden correction และการขยายคลังข้อมูลด้วย prompts กว่า 700,000 รายการ จากแหล่งข้อมูลชั้นนำอย่าง OpenCodeInstruct, OpenCodeReasoning และ Big-Math

ภายในเฟรมเวิร์ก

AngelSpec พัฒนาต่อยอดจาก TorchSpec โดยใช้โครงสร้างแบบ disaggregated ที่แยกเอนจินการทำ inference ออกจากการทำงานหลัก และใช้ Mooncake ในการส่งข้อมูล hidden states ช่วยให้การทำงานร่วมกับ vLLM เป็นไปอย่างราบรื่นโดยไม่ต้องปรับแต่งซอร์สโค้ดของเอนจิน

นอกจากนี้เฟรมเวิร์กยังรองรับเทคโนโลยีล้ำสมัยอื่นๆ เช่น การเทรนบริบทที่ยาว (Long-context training) สูงสุดถึง 128k โทเคน, ระบบการแพ็คลำดับแบบรับรู้เอกสาร (Document-aware sequence packing) เพื่อป้องกันการรั่วไหลของข้อมูลระหว่างเอกสาร และอินเทอร์เฟซที่สามารถถอดเสียบ (pluggable) เพื่อสลับใช้โมเดลเป้าหมายหรืออัลกอริทึมการปรับแต่ง (เช่น Muon) ได้ตามต้องการ

ประเด็นสำคัญ

• เปิดให้ดาวน์โหลด 7 Checkpoints บน Hugging Face และ ModelScope
• AngelSpec รองรับการเทรนสถาปัตยกรรม draft ได้ถึง 6 แบบในระบบเดียว
• DFly เพิ่มความเร็วบนโมเดล HY3-295B-A21B ได้สูงสุด 2.40 เท่า เมื่อเทียบกับการถอดรหัสแบบปกติ
• ฟีเจอร์ D-cut ช่วยดัน throughput ทะลุ 981 tok/s ในสถานการณ์การใช้งานจริง

ผู้ที่สนใจสามารถศึกษาข้อมูลเพิ่มเติมได้ที่ Paper, GitHub Repo, Documentation รวมถึงคอลเลกชันบน Hugging Face และ ModelScope