เจาะลึก MoE Routing: 7 กลยุทธ์จัดการ Expert ใน LLM ฉบับปี 2026

ทุกโมเดลแบบ Mixture-of-Experts (MoE) จะมีการตัดสินใจซ้ำๆ สำหรับทุก token ว่าผู้เชี่ยวชาญ (experts) คนใดควรเป็นผู้ประมวลผล โดยหน้าที่นี้เป็นของ router ซึ่งกลยุทธ์การทำ MoE routing จะเป็นตัวกำหนดทั้งคุณภาพ การรักษาสมดุลภาระงาน (load balance) และต้นทุนการให้บริการในโมเดล open source ขนาดใหญ่

คู่มือนี้จะอธิบาย 7 กลยุทธ์ routing ที่ใช้ในการใช้งานจริง (production) พร้อมเจาะลึกรายละเอียดของแต่ละโมเดล

TL;DR

• ขนาด: Router เลือกจากผู้เชี่ยวชาญ 8 ราย (Mixtral) ไปจนถึง 384 ราย (DeepSeek-V4-Pro) โดยเปิดใช้งาน 1 ถึง 8 รายต่อ token
• การทำงาน: ต้นทุนของ routing จะปรากฏชัดในระบบ multi-GPU expert parallelism ซึ่งการเลือกแต่ละครั้งจะกลายเป็นทราฟฟิกเครือข่ายแบบ all-to-all
• ประสิทธิภาพ: การทำ Sigmoid scoring พร้อมกับ aux-loss-free bias balancing เป็นสูตรสำเร็จที่แพร่หลายในปี 2026 สำหรับโมเดล MoE ระดับแนวหน้า
• ดีที่สุด: การทำ Loss-free balancing ช่วยลด MaxVio จาก 0.72 เหลือ 0.04 ที่ขนาด 1B พร้อมให้ค่า perplexity ที่ต่ำกว่า
• แย่ที่สุด: Expert choice ทำให้ข้อมูล token ในอนาคตรั่วไหลในโมเดลแบบ causal โดยพบว่าค่า loss ลดลงอย่างผิดปกติถึง 10%
• สรุปประเด็น: ข้อดีที่สุดคือการทำ balancing บนพื้นฐานของ bias จะไม่เพิ่มเกรเดียนต์ที่รบกวนกัน ส่วนข้อเสียคือยังไม่มี router ตัวไหนที่ช่วยให้ไม่ต้องแก้ไข load ในช่วงเวลาให้บริการ (serving-time)

MoE routing คืออะไร?

MoE routing คือกลไกส่งแต่ละ token ไปยังเครือข่ายผู้เชี่ยวชาญ (expert networks) กลุ่มย่อย โดย router จะให้คะแนนผู้เชี่ยวชาญทุกรายเพื่อคัดเลือกผู้สมัครที่ได้คะแนนสูงสุดและถ่วงน้ำหนักเอาต์พุต เฉพาะผู้เชี่ยวชาญที่ถูกเลือกเท่านั้นที่จะทำงาน

ตัวอย่างเช่น Mixtral 8x7B ให้แต่ละ token เข้าถึงพารามิเตอร์ได้ 47B แต่ใช้พารามิเตอร์ที่ทำงานจริง (active parameters) เพียง 13B เท่านั้น

วิดีโอสร้างโดย marktechpost.com

7 กลยุทธ์ MoE routing ที่ใช้ในการใช้งานจริง

1. Softmax top-k token choice

แต่ละ token จะให้คะแนนผู้เชี่ยวชาญทั้งหมดด้วย linear layer และเลือก k ลำดับสูงสุดไว้ โดยใช้ softmax กำหนดน้ำหนักการผสม (mixing weights) ซึ่ง Mixtral เลือก 2 จาก 8 ราย ส่วน gpt-oss-120b เลือก 4 จาก 128 ราย และ Qwen3-235B-A22B เลือก 8 จาก 128 ราย มักใช้ auxiliary loss เพื่อรักษาสมดุลภาระงาน

ใช้โดย: Mixtral, gpt-oss, Qwen3

2. Top-1 switch routing พร้อม capacity factor

Switch Transformer พิสูจน์ว่าการส่ง token ไปยังผู้เชี่ยวชาญเพียง 1 รายช่วยลดการคำนวณได้มาก โดยผู้เชี่ยวชาญแต่ละรายจะมีบัฟเฟอร์คงที่ หาก token ล้น (overflow) จะข้ามเลเยอร์ไปผ่าน residual connection แทน ด้าน Llama 4 Maverick ก็เลือกใช้การ route ไปยังผู้เชี่ยวชาญ 1 รายบวกกับผู้เชี่ยวชาญแบบใช้ร่วมกัน (shared expert)

ใช้โดย: Switch Transformer, Llama 4 Maverick (พร้อม shared expert)

3. Shared plus routed experts

DeepSeekMoE แบ่งเลเยอร์เป็น shared experts ที่ทำงานตลอดเวลาเพื่อเก็บความรู้ทั่วไป และ sparsely routed experts ที่เลือกตามความเหมาะสม โดย DeepSeek-V3 ใช้ 1 shared และ 256 routed experts (เปิดใช้งาน 8 ราย) รูปแบบนี้ถูกใช้ใน Kimi K2, GLM-4.5 และ Qwen3.6-35B-A3B แต่ Qwen3 รุ่นใหม่กลับเลือก ตัด shared experts ออก

ใช้โดย: DeepSeek-V3 และ V4, Kimi K2, GLM-4.5, Qwen3.6, Llama 4

4. Sigmoid gating พร้อม aux-loss-free bias

DeepSeek-V3 ใช้ sigmoid แทน softmax ในการให้คะแนน และเพิ่ม bias ให้ผู้เชี่ยวชาญแต่ละรายเฉพาะเมื่อเลือก top-k โดยจะลด bias ลงหากภาระงานหนักเกินไป แต่ยังคงน้ำหนักการผสมจากคะแนนดิบ (raw scores) วิธีนี้ช่วยให้ GLM-4.5 ทำ loss-free balance routing ได้ ขณะที่ DeepSeek-V4 เปลี่ยนไปใช้คะแนนแบบ sqrtsoftplus แต่ยังคงใช้ bias balancing อยู่

ใช้โดย: DeepSeek-V3, DeepSeek-V4, GLM-4.5, Kimi K2

5. Group-limited และ node-limited routing เพื่อลดต้นทุนการส่ง token ข้ามโหนด DeepSeek-V3 จึงจำกัดให้แต่ละ token เข้าถึงได้เพียง 4 โหนดที่มีค่า affinity scores สูงสุด จากการแบ่งผู้เชี่ยวชาญเป็น 8 กลุ่ม การจำกัดนี้ช่วยให้การคำนวณและการสื่อสารข้อมูลซ้อนทับกันได้ (overlap) อย่างมีประสิทธิภาพ อย่างไรก็ตาม Kimi K2 ได้ตัดระบบ grouping นี้ออกไป

ใช้โดย: DeepSeek-V2 และ V3

6. Expert choice routing

Expert choice routing ของ Google สลับมุมมองโดยให้ผู้เชี่ยวชาญเป็นฝ่ายเลือก token ทำให้ภาระงานคงที่และฝึกโมเดลได้เร็วขึ้น 2 เท่า แต่มีข้อเสียร้ายแรงในด้าน causality เพราะข้อมูล token ในอนาคตอาจรั่วไหล ซึ่งนักวิจัย DeepSeek วัดค่า loss ที่ลดลงผิดปกติได้ถึง 10% จากปัญหานี้

ใช้โดย: งานวิจัยและโมเดลที่ไม่ใช่ causal (ยังไม่มีใน 10 โมเดลหลักที่เปรียบเทียบ)

7. Hash routing และ dynamic top-k

Hash routing กำหนดผู้เชี่ยวชาญจาก token ID โดยไม่ต้องเรียนรู้ ซึ่ง DeepSeek-V4 ใช้ใน 3 เลเยอร์แรก ส่วน dynamic top-k จะปรับจำนวนผู้เชี่ยวชาญตามความเหมาะสมของแต่ละ token เช่น SMIDT ที่ช่วยพัฒนาความเร็ว time-to-first-token ได้ถึง 1.21-1.26 เท่า

ใช้โดย: DeepSeek-V4 (hash routing), ระบบ serving ในงานวิจัย (dynamic top-k)

เปรียบเทียบกลยุทธ์ MoE routing

ควรเลือกใช้กลยุทธ์ใด?

ส่วนใหญ่ผู้ใช้จะสืบทอดกลยุทธ์มาจาก checkpoint ที่เลือกใช้ โดยควรตรวจสอบ 4 ฟิลด์ใน config.json ได้แก่ expert count, experts per token, shared experts และ topk_method การเปลี่ยนค่า top-k ระหว่าง inference เปรียบเหมือนการเปลี่ยนโครงสร้างโมเดลจึงต้องระวังเรื่องคุณภาพ สำหรับการฝึกใหม่ (pretraining) ระบบ sigmoid scoring พร้อม bias balancing คือตัวเลือกมาตรฐานที่ดีที่สุดในปัจจุบัน

ประเด็นสำคัญ

• Top-k คือพื้นฐานมาตรฐาน โดยมีค่า k ตั้งแต่ 1 (Llama 4) ไปจนถึง 8 (DeepSeek-V3, Qwen3)
• Shared experts กลายเป็นมาตรฐานในหลายค่าย ยกเว้น Qwen3 ที่ตัดออกไป
• Sigmoid พร้อม bias balancing เป็นมาตรฐานใหม่ในปี 2026 สำหรับโมเดล MoE ระดับสูง
• Expert choice แม้จะสมดุลที่สุดแต่ไม่เหมาะกับ causal LLMs เนื่องจากข้อมูลรั่วไหล
• DeepSeek-V4 เริ่มนำ hash routing มาผสมผสานในเลเยอร์ช่วงแรก