ฝึก LLM ข้ามศูนย์ข้อมูลด้วย Streaming DiLoCo ใน MaxText

· By: TanasakP

19 พ.ย. 2026 โดยปกติแล้ว การฝึกฝน Large Language Models (LLMs) ระดับแนวหน้าจะพึ่งพากลุ่มตัวเร่งประมวลผล (accelerators) แบบรวมศูนย์ ซึ่งอุปกรณ์ทั้งหมดจะถูกติดตั้งอยู่ในที่เดียวกันและเชื่อมต่อกันอย่างใกล้ชิดผ่านแบนด์วิดท์สูงเพื่อประสานข้อมูล gradient อย่างต่อเนื่อง อย่างไรก็ตาม ข้อจำกัดทางกายภาพและต้นทุนทำให้การขยายขนาด slice เพียงอันเดียวทำได้ยากขึ้นเรื่อยๆ เพื่อขยายขนาดออกไปอีก เราสามารถเชื่อมต่อ compute slice หลายอันข้ามศูนย์ข้อมูลที่กระจายตัวอยู่ตามภูมิศาสตร์ต่างๆ อย่างไรก็ตาม เมื่อฝึกฝนข้ามศูนย์ข้อมูลหลายแห่งผ่านเครือข่ายบริเวณกว้าง (WAN) การฝึกฝนแบบ data-parallel มาตรฐานจะประสบปัญหาเครือข่ายหยุดชะงักอย่างรุนแรง เนื่องจากความเร็วในการถ่ายโอนข้อมูลผ่าน WAN ที่ช้าไม่สามารถทำควบคู่ไปกับการประมวลผล (overlap) ได้อย่างสมบูรณ์ เพื่อแก้ไขปัญหานี้ ทีม Google DeepMind และ Google Research จึงได้พัฒนา DiLoCo (Distributed Low-Communication) ซึ่งเป็นอัลกอริทึมการเพิ่มประสิทธิภาพแบบกระจายตัวที่ออกแบบมาเพื่อให้การฝึกฝนมีความทนทานต่อการเชื่อมต่อที่มีแบนด์วิดท์ต่ำและค่าความหน่วง (latency) สูงเหล่านี้ ในบล็อกโพสต์นี้ เราจะพูดถึงแนวคิดหลักของ DiLoCo, วิธีการนำไปใช้ใน MaxText (เฟรมเวิร์กการฝึกฝน LLM บนพื้นฐาน JAX แบบโอเพนซอร์สของ Google) และประโยชน์ด้านประสิทธิภาพที่มอบให้กับการฝึกฝน LLM ขนาดใหญ่บน Google Cloud

DiLoCo ถูกนำเสนอโดย Google DeepMind ในเอกสารวิชาการ DiLoCo: Distributed Low-Communication Training of Language Models แทนที่จะทำการประสานข้อมูล gradient ข้ามอุปกรณ์ทั้งหมดในทุกๆ ขั้นตอนการฝึกฝน (เหมือนใน Data Parallelism มาตรฐาน) DiLoCo จะแบ่งส่วนการฝึกฝนออกเป็นกลุ่มการประมวลผลอิสระ M กลุ่ม เรียกว่า learners และอนุญาตให้แต่ละ learner ทำขั้นตอนการเพิ่มประสิทธิภาพในท้องถิ่น (local optimization steps) หลายขั้นตอนอย่างอิสระก่อนที่จะสื่อสารข้ามกลุ่ม

DiLoCo ทำงานในสองระดับ:

The Inner Loop (Local): แต่ละ learner (โดยทั่วไปคือ TPU slice เดี่ยว หรือกลุ่ม multi-slice ภายในศูนย์ข้อมูลเดียว) จะรันตัวเพิ่มประสิทธิภาพมาตรฐาน (โดยปกติคือ AdamW) บนส่วนของข้อมูลท้องถิ่นเป็นจำนวน H ขั้นตอน (จังหวะการประสานข้อมูล เช่น H = 37-65 ในการทดลองของเรา) ในระหว่างขั้นตอนเหล่านี้ จะไม่มีการสื่อสารเกิดขึ้นระหว่างกลุ่ม DiLoCo ที่ต่างกัน การสื่อสารภายใน replica มาตรฐานจะยังคงดำเนินต่อไปในทุกขั้นตอนตามปกติ

The Outer Loop (Global): ทุกๆ H ขั้นตอน M learners จะคำนวณความแตกต่าง (delta) ระหว่างค่าน้ำหนัก (weights) ปัจจุบันกับค่าน้ำหนักส่วนกลาง (global weights) ณ จุดเริ่มต้นของช่วงเวลา จากนั้น learners จะหาค่าเฉลี่ยของ delta เหล่านี้ผ่านเครือข่ายด้วยวิธี all-reduce แบบกระจาย และใช้ตัวเพิ่มประสิทธิภาพภายนอก (outer optimizer) (โดยปกติคือ SGD พร้อม Nesterov momentum) เพื่ออัปเดต global weights ซึ่งจะกลายเป็นจุดเริ่มต้นสำหรับช่วง inner-loop ถัดไป

แม้ว่าจะสื่อสารกันน้อยกว่ามาก เมื่อเทียบกับการฝึกฝนแบบประสานข้อมูลมาตรฐาน DiLoCo ได้รับการพิสูจน์แล้วว่าสามารถบรรลุการลู่เข้า (convergence) และคุณภาพของโมเดลที่เทียบเคียงกันได้

Vanilla DiLoCo ที่กล่าวข้างต้นช่วยลดปริมาณการสื่อสารรวมลงอย่างมาก อย่างไรก็ตาม learners ทั้งหมดยังคงต้องส่ง weight deltas สำหรับโมเดลทั้งหมดในคราวเดียวในทุกๆ ขั้นตอนที่ H ซึ่งบนเครือข่ายที่แคบ การส่งข้อมูลทั้งโมเดลจะทำให้เกิดการหยุดชะงักขนาดใหญ่เป็นระยะ ปัญหานี้ได้รับการบรรเทาลงโดย Streaming DiLoCo ซึ่งจะอธิบายในส่วนถัดไป

ในการฝึกฝนแบบ multi-slice การสื่อสารภายใน slice เดียวจะถูกจัดการโดย Inter-Chip Interconnects (ICI) ความเร็วสูง เมื่อขยายขนาดไปยังหลาย slice การประสานข้อมูลข้าม slice จะต้องผ่าน Data Center Network (DCN) หรือหาก slice กระจายตัวตามภูมิศาสตร์ ก็จะต้องผ่านเครือข่ายบริเวณกว้าง (WAN)

ภายในศูนย์ข้อมูลแห่งเดียว แบนด์วิดท์ของ DCN สูงพอที่ JAX และ XLA มักจะสามารถซ่อนการรวมกลุ่ม all-reduce ของ Data Parallel มาตรฐานได้โดยการซ้อนทับการสื่อสาร gradient เข้ากับขั้นตอนการประมวลผล backward-pass อย่างไรก็ตาม ในการสื่อสารข้ามศูนย์ข้อมูลหรือลิงก์ที่มีการใช้งานหนาแน่น แบนด์วิดท์จะลดลงและความหน่วงจะพุ่งสูงขึ้นอย่างรวดเร็ว ส่งผลให้ Model FLOPS Utilization (MFU) ลดฮวบ

Streaming DiLoCo ขจัดปัญหาการหยุดชะงักในการประสานข้อมูลนี้โดยการแบ่งพารามิเตอร์ของโมเดลออกเป็น P ส่วนที่แยกจากกัน

Fragmentation: MaxText แบ่งโมเดลออกเป็น P = NLAYERS + 1 ส่วน (fragments): หนึ่งส่วนสำหรับพารามิเตอร์ที่ไม่ได้ถูกสแกน (token embeddings, final layer norm และ output head) และ Nlayers สำหรับแต่ละชั้นของ Transformer decoder

Staggered Per-Step Streaming: แทนที่จะหยุดทุกๆ H ขั้นตอนเพื่อแลกเปลี่ยนโมเดลทั้งหมด MaxText จะประสานข้อมูลเพียงส่วนเดียวในทุกๆ Δh = max(1, round(H/P)) ขั้นตอน การตั้งค่า H=P จะประสานข้อมูลหนึ่งส่วนต่อหนึ่งขั้นตอน ซึ่งช่วยกระจายปริมาณการสื่อสารให้เท่ากันตลอดเวลา ทำให้เครือข่ายมองเห็นกระแสข้อมูลขนาดจิกที่เกือบสม่ำเสมอแทนที่จะเป็นการพุ่งสูงขึ้นอย่างมหาศาล โดยการเลือกส่วนที่จะประสานข้อมูลจะทำแบบสลับหว่าง (interleaved) ทั่วทั้งเครือข่าย เพื่อให้มั่นใจว่าทุกส่วนของโมเดลจะได้รับการอัปเดตอย่างทั่วถึง

Embedding Load Balancing: เนื่องจากส่วนที่ 0 เก็บพารามิเตอร์นอกชั้นสแกนซึ่งมีผลต่อมิติชุดคำศัพท์ (vocabulary) และอาจมีขนาดใหญ่ เมทริกซ์ขนาดใหญ่จากส่วนนี้จะถูกแบ่งเท่าๆ กันและนำไปรวมกับส่วน Nlayers อื่นๆ เพื่อป้องกันทราฟฟิกเครือข่ายพุ่งสูงผิดปกติ

การใช้ roofline model เราสามารถคำนวณแบนด์วิดท์เครือข่ายที่จำเป็นเพื่อป้องกันการหยุดชะงักของการสื่อสารสำหรับโมเดลที่มีพารามิเตอร์ ∣Θ| โดยแบนด์วิดท์สูงสุดที่ต้องการคือ Bdp ≈ 2∣Θ∣b / tbwd

ตัวอย่างการคำนวณ ( Qwen3-32B ** ใน ** bfloat16 , tstep≈6.2s, P=H=65):

  • Data Parallel แลกเปลี่ยนข้อมูล ~65.5 GB ในทุกขั้นตอน จำเป็นต้องมีแบนด์วิดท์เสถียรอย่างน้อย ~85 Gbps หากลิงก์มีเพียง 10 Gbps จะใช้เวลากว่า 50 วินาที ทำให้เกิดการหยุดชะงักมหาศาล
  • Vanilla DiLoCo (H=65) ลดทราฟฟิกรวมลง 65 เท่า แต่ยังคงหยุดชะงักทุกๆ ขั้นตอนที่ 65 เพื่อถ่ายโอนข้อมูลทั้งหมดในคราวเดียว
  • Streaming DiLoCo (P=H=65) แลกเปลี่ยนข้อมูลเพียง 1/65 ของโมเดล (~1.0 GB) ต่อขั้นตอน ต้องการแบนด์วิดท์เพียง ~1.3 Gbps ซึ่งสามารถสื่อสารได้ทันเวลาแม้บนลิงก์ที่ถูกจำกัดความเร็ว เพื่อประเมินประสิทธิภาพภายใต้คอขวดเครือข่ายที่สมจริง เราได้ทดสอบ Qwen3-32B ข้าม 2× TPU v5p-32 slices โดยใช้ Linux traffic-control (tc) จำกัดแบนด์วิดท์ในสามรูปแบบ: Line Rate, 30 Gbit/s และ 10 Gbit/s

รูปภาพที่ 1: ปริมาณการสื่อสาร Cross-Slice DCN (Qwen3-32B บน 2× v5p-32 ตลอด 65 ขั้นตอน) Streaming DiLoCo ช่วยลดทราฟฟิก DCN ข้าม slice จาก 4,258.8 GB เหลือ 67.0 GB หรือลดลงประมาณ 65 เท่า

รูปภาพที่ 2: เวลาเฉลี่ยต่อขั้นตอนในรูปแบบความหนาแน่นของเครือข่ายต่างๆ บน 2× v5p-32 Streaming DiLoCo สามารถทำความเร็วเพิ่มขึ้น 3.37 เท่า และ 9.57 เท่า ที่ความเร็ว 10 Gbit/s เมื่อเทียบกับ Data Parallel โดยกำจัดการหยุดชะงักเพื่อประสานข้อมูลทั้งโมเดลเป็นระยะ

ข้อค้นพบหลัก:

  • Line Rate ไปจนถึง 30 Gbit/s: เมื่อแบนด์วิดท์ไม่ถูกจำกัด ทั้งสามวิธีให้เวลาต่อขั้นตอนใกล้เคียงกัน แต่ที่ 30 Gbit/s Data Parallel เริ่มประสิทธิภาพลดลงเหลือ 19.41 วินาที/ขั้นตอน ขณะที่ Streaming DiLoCo ยังรักษาความเร็วที่ 5.76 วินาที/ขั้นตอน
  • ข้อจำกัดเครือข่ายรุนแรง (10 Gbit/s): Data Parallel ประสิทธิภาพลดลงเหลือ 55.11 วินาที/ขั้นตอน ส่วน Streaming DiLoCo ยังรักษาความเร็วที่ 5.76 วินาที/ขั้นตอน ซึ่งเร็วกว่า DP ถึง 9.57 เท่า
  • การขยายขนาดที่เหมาะสม: การขยาย P (และ H) ตามความลึกของโมเดลไม่ทำให้การลู่เข้าลดลง ในการทดลองกับ Qwen3-32B Streaming DiLoCo ให้ค่า loss ที่ตรงกับเกณฑ์มาตรฐานโดยไม่มีการลดทอนคุณภาพ

เราได้ประเมิน Streaming DiLoCo ในสถาปัตยกรรม Mixture-of-Experts (MoE) สองรูปแบบ (Qwen3-30B-A3B และ Gemma4-26B-A4B) เพื่อดูว่าการอัปเดตอิสระจะทำให้คุณภาพลดลงหรือไม่

รูปภาพที่ 3: วิถีการลดลงของ pre-training loss เปรียบเทียบระหว่าง Streaming DiLoCo กับ Data Parallel บน Qwen3-30B-A3B หลังจากช่วงวอร์มอัปสั้นๆ Streaming DiLoCo ทำได้ดีกว่าเกณฑ์มาตรฐานเล็กน้อยอย่างราบรื่น

ผลการทดสอบยืนยันว่า Streaming DiLoCo รักษาระดับ validation loss ได้ดีเนื่องจาก:

  • Outer Nesterov Momentum: ช่วยให้วิถีระดับโลกมีความเสถียร
  • Warm Inner Optimizers: learners ไม่สูญเสียโมเมนตัมของตัวเพิ่มประสิทธิภาพหลังจากประสานข้อมูล

MaxText ติดตั้งใช้งานทั้ง Vanilla และ Streaming DiLoCo บนพื้นฐาน JAX และ Flax NNX โดยไม่ต้องใช้ parameter server ภายนอก

คุณสามารถเปิดใช้งาน Streaming DiLoCo ใน YAML หรือ CLI โดยตั้งค่า enable_diloco: true และ enable_streaming_diloco: true โดยควรตั้งค่า num_diloco_fragments (P) และ diloco_sync_period (H) ให้สัมพันธ์กับจำนวนชั้นของโมเดล ดังนี้:

# Enable DiLoCo and Streaming DiLoCo
enable_diloco: true
enable_streaming_diloco: true
# Partition into N_layers + 1 fragments
num_diloco_fragments: 37
diloco_sync_period: 37
use_sequential_layers: false # false = interleaved layers across fragments (recommended)
# Outer Nesterov SGD optimizer hyperparameters
diloco_outer_lr: 0.7
diloco_outer_momentum: 0.9
# Multi-slice topology
dcn_diloco_parallelism: 2

ใน MaxText ไฟล์ diloco.py จะแบ่ง batch ทั่วโลกไปยัง M learners เพื่อซ้อนทับการสื่อสารข้าม slice เข้ากับการประมวลผลของ TPU ใน Streaming DiLoCo โดยใช้ syncer worker บนโฮสต์ CPU ทำงานในพื้นหลังขณะที่ TPU ยังคงฝึกฝนต่อไป หากต้องการเจาะลึกเพิ่มเติม:

Streaming DiLoCo ใน MaxText ช่วยให้การฝึกฝน LLM ขนาดใหญ่ไม่ต้องพึ่งพาเครือข่ายแบนด์วิดท์สูงเพียงแห่งเดียว ทีมวิศวกรรมสามารถรวม TPU slice ข้ามศูนย์ข้อมูลหรือข้ามเขตเมืองได้โดยที่ฮาร์ดแวร์ยังทำงานได้เต็มประสิทธิภาพ Streaming DiLoCo พร้อมใช้งานแล้ววันนี้ใน MaxText v0.2.5

Source: Google Developers Blog
ดูแลงานแปลและเรียบเรียงโดย TanasakP
ฝึก LLM ข้ามศูนย์ข้อมูลด้วย Streaming DiLoCo ใน MaxText

ความคิดเห็น (0)

เข้าสู่ระบบเพื่อร่วมแสดงความเห็น

สมัครสมาชิก

มาเป็นคนแรกที่แสดงความเห็นกันเลยโบร