Google เปิดตัว Zero-TIM ปลดล็อกความเสถียร LLM RL บน Cloud TPU
16 พ.ย. 2026
การเรียนรู้แบบเสริมกำลัง (Reinforcement learning หรือ RL) สำหรับโมเดลภาษาขนาดใหญ่ (LLM) มักประสบปัญหาความไม่เสถียรทางตัวเลข แม้ความคลาดเคลื่อนเพียงเล็กน้อยระหว่างขั้นตอนการสร้างผลลัพธ์ (rollout generation) และการอัปเดต Gradient ก็อาจส่งผลให้การฝึกฝนไม่เสถียรหรือหยุดชะงักได้ ในการฝึกแบบ on-policy ที่แท้จริง ทุกการกระทำ (action) ต้องถูกประเมินด้วยนโยบาย (policy) เดียวกับตอนที่สร้างมันขึ้นมาอย่างแม่นยำ
ในระบบ RL ระดับ Production ทั่วไป กระบวนการ sampling และ training มักรันผ่านเส้นทางที่แยกจากกัน โดย sampler จะเลือก action token ระหว่างการทำ incremental decoding ในขณะที่ trainer จะประเมินโทเค็นเดียวกันในรูปแบบ batched forward-backward passes แม้จะใช้ค่าน้ำหนัก (weight) เดียวกัน แต่ความต่างของเส้นทางประมวลผลอาจทำให้ค่า logprob คลาดเคลื่อน และกลายเป็นช่องว่าง off-policy ที่สะสมจนส่งผลเสียต่อการเรียนรู้แบบหลาย turn เพื่อแก้ปัญหานี้ เราได้นำ zero train - inference mismatch (Zero-TIM) มาใช้งาน ซึ่งพัฒนาขึ้นใน Tunix และผ่านการทดสอบบนชิป TPU v5p จำนวน 64 ตัว ระบบนี้ช่วยให้ sampler และ trainer กำหนดค่า logprob ได้ตรงกันในระดับ bitwise ภายใต้เงื่อนไขเดียวกันทั้งหมด นำมาซึ่งความเสถียรแบบ on-policy ที่ล้ำสมัยบน TPU
สาเหตุหลักของความคลาดเคลื่อนมาจากธรรมชาติของการบวกเลข floating-point ที่ไม่มีสมบัติการเปลี่ยนหมู่ การจัดลำดับโครงสร้างการคำนวณ (reduction) ที่ต่างกันจะเปลี่ยนตำแหน่งการปัดเศษ โดยเฉพาะในรูปแบบ bfloat16 ที่มีความละเอียดน้อยกว่า float32 ปัญหานี้ปรากฏชัดในการคำนวณผลคูณเมทริกซ์ การทำ normalization และการรวมผลลัพธ์จาก tensor-parallel shards
Figure 1. ใกล้กับค่า 2.0 แต่ละ input ขนาด 0.0078125 จะมีระยะทางเป็นครึ่งหนึ่งของค่า bfloat16 ถัดไปที่สามารถแสดงผลได้ การปัดเศษแบบ Round-to-nearest-even จะทิ้งแต่ละ input เมื่อบวกแยกกัน การรวมกลุ่ม input เดียวกันก่อนจะทำให้ไปถึงค่าถัดไปได้
ในระบบเดิม JAX จะปรับการคำนวณให้เหมาะสมกับรูปทรง (shape) ของ input ที่ต่างกันระหว่าง sampler และ trainer ทำให้ลำดับการ reduction และความละเอียดระหว่างทางไม่ตรงกัน แม้สมการจะเหมือนกันแต่ผลลัพธ์ทางคณิตศาสตร์กลับต่างกัน เราจึงกำหนดให้ทั้งสามเส้นทาง คือ sampler decode, serving prefill และ trainer forward ต้องสร้าง logprob ที่เหมือนกันในระดับ bitwise โดยห้ามมีค่าความคลาดเคลื่อนใดๆ
การเพิ่ม serving prefill เข้ามาเป็นจุดตรวจสอบที่สามช่วยให้เราวินิจฉัยปัญหาได้อย่างเป็นระบบ โดยขั้นแรกตรวจสอบว่า engine ฝั่ง serving ให้ผลตรงกันระหว่างการสร้างโทเค็นและการให้คะแนนแบบเต็ม และขั้นที่สองตรวจสอบความสอดคล้องระหว่าง engine ฝั่ง serving และ training ข้ามขอบเขตของการ compilation และ differentiation
Figure 2. การเปรียบเทียบระดับ bitwise ของ logprob ของ action ที่ถูก sample ภายใน serving engine และข้ามขอบเขต serving - training โดยประเมินที่ rollout weights เดียวกัน
ความสำเร็จของ Zero-TIM มาจากสูตรสำเร็จ 4 ส่วน: การล็อกการสะสมค่าภายใน shard kernel, การจัดลำดับ cross-shard reductions, การทำให้ส่วนท้ายของการให้คะแนนเป็นมาตรฐาน และการใช้กฎ differentiation แบบกำหนดเอง โดยเราใช้ batch-invariant Pallas kernels ควบคุมลำดับการสะสมและความละเอียดในรูปแบบ float32 เพื่อให้การคำนวณคงที่เสมอ
input_tile = x_ref[...]
weight_tile = y_ref[...]
partial = jnp.dot(
input_tile,
weight_tile,
preferred_element_type=jnp.float32,
)
acc_ref[...] = acc_ref[...] + partial
out_ref[...] = acc_ref[...].astype(out_ref.dtype)นอกจากนี้ เรายังแยกการสื่อสารออกจากการบวกในขั้นตอน row-parallel projections โดยระบุลำดับการ reduction ไว้ในโปรแกรมอย่างชัดเจนแทนที่จะให้ระบบเลือกเอง พร้อมทั้งตรวจสอบให้แน่ใจว่าทุกเส้นทางประเมิน token history เดียวกันทั้งหมด
ในส่วนของการหาอนุพันธ์ trainer จะใช้การคำนวณจาก serving prefill ซ้ำผ่าน Custom vector - Jacobian products เพื่อคงความแม่นยำของ serving kernels ไว้ในขั้นตอน forward และใช้ differentiable replica เฉพาะในขั้นตอนสร้าง pullback เท่านั้น
@jax.custom_vjp
def serving_matmul(inputs, weights):
return pallas_matmul(inputs, weights)
def matmul_forward(inputs, weights):
output = pallas_matmul(inputs, weights)
return output, (inputs, weights)
def matmul_backward(saved, output_gradient):
inputs, weights = saved
_, pullback = jax.vjp(
differentiable_matmul,
inputs,
weights,
)
return pullback(output_gradient)
serving_matmul.defvjp(matmul_forward, matmul_backward)Figure 3. สถานะ KV-cache เชื่อมต่อ forward chunks; cache gradients เชื่อมต่อ reverse passes ของพวกมัน ส่วนสนับสนุนของ Parameter-gradient จะถูกรวมเข้าด้วยกันก่อนการอัปเดต optimizer
ปัจจุบันการกำจัด train - inference mismatch กลายเป็นมาตรฐานใหม่ในการรักษาความเสถียรของ RL ขนาดใหญ่ เช่นเดียวกับโครงการ vLLM with TorchTitan และ RadixArk/LMSys Miles งานของเราใน Tunix มอบแนวทางแบบ open-source สำหรับผู้ใช้ JAX/XLA บน TPU เพื่อสร้างระบบ on-policy RL ที่แม่นยำระดับบิต
จากการทดสอบ benchmark บนสภาพแวดล้อม FrozenLake ด้วยโมเดล Qwen3-8B บน TPU v5p จำนวน 64 ตัว พบว่า Zero-TIM สามารถรักษาความแตกต่างของ logprob ระหว่าง sampler และ trainer เป็นศูนย์ได้ตลอดการทดสอบ และบรรลุอัตราการแก้ปัญหา (solve rate) ที่สูงกว่าการฝึกแบบมาตรฐานและเทคนิค TIS อย่างเห็นได้ชัด
Figure 4. การรัน training ด้วย seed เดียวบน FrozenLake grids ตั้งแต่ 2×2 ถึง 9×9 โดยมีการโต้ตอบสูงสุดห้า turn ทั้งสองแผงแสดง 200 training steps แรก ความแตกต่างของ Logprob ถูกพล็อตโดยไม่มีการทำ smoothing; อัตราการแก้ปัญหา (solve rates) แสดงค่าดิบจางๆ และค่าเฉลี่ยย้อนหลังสิบ step ป้ายกำกับที่จุดสิ้นสุดแสดงค่าเฉลี่ยสิบ step สุดท้าย
เราออกแบบ Zero-TIM ในไลบรารี Tunix ให้มีความ modular เพื่อให้ทีมต่างๆ นำไปประยุกต์ใช้กับ pipeline ที่มีอยู่ได้ง่าย และกำลังขยายการรองรับไปยังสถาปัตยกรรมระดับสูงอย่าง linear-attention และ Mixture-of-Experts (MoE) ต่อไปในอนาคต

ความคิดเห็น (0)
เข้าสู่ระบบเพื่อร่วมแสดงความเห็น
สมัครสมาชิกมาเป็นคนแรกที่แสดงความเห็นกันเลยโบร
