Baidu เปิดตัว ERNIE 5.5 Flash Base โมเดล MoE ขนาด 280B

Baidu ได้ปล่อย ERNIE 5.5 Flash Base ซึ่งเป็น checkpoint จากการทำ pre-training ดิบของโมเดลภาษาแบบ sparse Mixture-of-Experts (MoE) รุ่นล่าสุด โดยเป็นโมเดลข้อความขนาด 280B พารามิเตอร์ที่เปิดใช้งานจริงเพียง 14B พารามิเตอร์ต่อ token

ค่าน้ำหนัก (weights) ของโมเดลถูกหยุดไว้ที่จุดสิ้นสุดของการทำ pre-training โดยไม่มีการทำ mid-training หรือ post-training ใดๆ ทำให้เป็นจุดเริ่มต้นที่สมบูรณ์สำหรับทีมวิจัยที่ต้องการเปรียบเทียบวิธี fine-tuning, instruction tuning หรือการทำ RL จาก checkpoint เดียวกัน

สรุปข้อมูลสำคัญ (TL;DR)

• ขนาด: พารามิเตอร์รวม 280B, ทำงานจริง 14B ต่อ token รองรับบริบท (context) ในการฝึก 128K และขยายได้ถึง 1M สำหรับการ fine-tuning และการ inference
• การประมวลผล: รันบนเซิร์ฟเวอร์ multi-GPU โดยใช้ parallelism แบบ 4-way ใน SGLang และ vLLM มีค่าน้ำหนักให้เลือกทั้งแบบ FP8 และ BF16
• ประสิทธิภาพ: ทำคะแนนสูงสุดใน 24 จาก 30 benchmark ของโมเดลฐานในระบบทดสอบของ Baidu
• จุดแข็ง: ทำคะแนน MMLU-Pro ได้ 78.4 นำหน้า DeepSeek-V4-Flash-Base ที่ทำได้ 69.2
• จุดอ่อน: ทำคะแนน HELMET-Rerank ได้ 56.2 ตามหลัง DeepSeek-V4-Flash-Base ที่ทำได้ 60.0

ERNIE 5.5 Flash Base คืออะไร?

โมเดลรุ่นนี้คือโมเดลฐานแบบ MoE สำหรับประมวลผลข้อความโดยเฉพาะ มีจำนวน 43 เลเยอร์ และ hidden size ขนาด 4096 ผ่านการฝึกฝน (pre-trained) ตั้งแต่เริ่มต้นด้วย 33.5T tokens โดยใช้ Muon optimizer ตัว tokenizer มีรายการคำศัพท์ 201,216 รายการ และใช้การจัดกลุ่มตัวเลขจากขวาไปซ้ายชุดละไม่เกิน 3 หลัก

แนวคิดการพัฒนาเน้นไปที่การจัดสรรงบประมาณด้านการคำนวณ KV cache และต้นทุน long-context ให้เป็นก้อนเดียว โดยข้อมูลที่ใช้ฝึกจะให้ความสำคัญกับโค้ดระดับ repository และเนื้อหาแบบ long-context เนื่องจากเป็นข้อมูลที่ยากจะเพิ่มเข้าไปภายหลังการฝึก

สถาปัตยกรรมภายในของ ERNIE 5.5 Flash

Hybrid attention: มีการผสมผสานการทำงานโดย 37 เลเยอร์ใช้ Heavily Compressed Attention (HCA) ซึ่งสามารถแคช 1 รายการต่อ 128 tokens ส่วนอีก 6 เลเยอร์ใช้ Multi-head Latent Attention พร้อม sparse attention (MLA + DSA) เพื่อให้ 1 ใน 7 เลเยอร์ยังคงรักษาการเข้าถึง full-context ไว้ได้

Gated and mixed heads: ระบบ attention output gate พัฒนามาจาก low-rank query latent ช่วยลดพารามิเตอร์ gate-projection ลงได้ถึง 75% เสริมด้วย Virtual Head Attention ที่ช่วยเพิ่มการผสมผสานระดับ low-rank ข้าม head ต่างๆ อย่างมีประสิทธิภาพ

Multi-Router Latent MoE: แต่ละเลเยอร์ MoE ประกอบด้วย 512 routed experts (เลือกใช้ top-10) และ 1 shared expert โดยใช้ sigmoid routers อิสระหลายตัวแทนที่ router ตัวเดียว ช่วยให้การบริหารจัดการ FLOPs และการสื่อสารระหว่างโหนดคงที่ แม้รันในพื้นที่ latent ขนาด 2048 มิติ

ECHO แทนที่ MTP: เทคโนโลยี ECHO จะนำเลเยอร์สุดท้ายของ backbone กลับมาใช้ใหม่เพื่อทำนาย token ในอนาคต และทำหน้าที่เป็น draft model สำหรับการทำ speculative decoding ในตัว โดย ECHO จะเพิ่มพารามิเตอร์ขึ้นมา 0.36B ซึ่งไม่ถูกนับรวมในจำนวนพารามิเตอร์หลักที่ประกาศ

ประสิทธิภาพใน Benchmark

ทีม Baidu ประเมินโมเดลด้วยมาตรฐานเดียวกันทั้งหมด โดยผลลัพธ์ที่รายงานระบุว่า ERNIE 5.5 Flash Base ทำคะแนนในด้านต่างๆ ดังนี้:

• การทดสอบวิชาการ: MMLU 93.3, MMLU-Redux 94.1, MMLU-Pro 78.4
• ความรู้ทั่วไป: SimpleQA 34.1 (สูงกว่า DeepSeek-V4-Flash-Base ที่ทำได้ 29.1)
• STEM และเหตุผล: GPQA 60.2, MGSM 87.0, BBH direct 77.1
• Long context: RepoQA 91.7, LongBench-v2 48.7

อย่างไรก็ตาม โมเดลยังมีจุดที่พ่ายแพ้ใน 6 รายการทดสอบ เช่น ChineseSimpleQA และ InfiniteBench ที่ DeepSeek-V4-Flash-Base ทำได้ดีกว่า รวมถึงด้าน BBH CoT ที่ Hy3-preview-Base ของ Tencent เป็นผู้นำ

การใช้งานและสิทธิบัตร

ปัจจุบันค่าน้ำหนักโมเดลเปิดให้ดาวน์โหลดผ่าน Hugging Face และ ModelScope รองรับการทำงานร่วมกับ SGLang และ vLLM (เวอร์ชัน 0.32.0 พร้อม vLLM-ERNIE plugin) โดยตัวโมเดลทำงานผ่าน endpoint แบบ completions ไม่ใช่ chat

ในด้านการฝึกฝน Baidu รันบน FlashMask-4 สำหรับ GPU รุ่น SM90 และ SM100 ซึ่งในรุ่น SM100 สามารถทำ forward ได้เร็วขึ้นสูงสุด 175% เมื่อเทียบกับ FlashAttention-4 MaskMod สำหรับเงื่อนไขการใช้งาน Baidu อนุญาตให้ใช้ฟรีหากบริษัทมีรายได้ไม่เกิน 50 ล้านเหรียญสหรัฐ แต่มีข้อจำกัดไม่ครอบคลุมกลุ่มประเทศ EU, สหราชอาณาจักร และเกาหลีใต้