Google Cloud เปิดตัว llm-d 1.0 ยกระดับการประมวลผล LLM ด้วย Cache-Aware

ทีม Google ได้ เปิดตัว llm-d 1.0 ซึ่งเป็นเวอร์ชันเสถียรตัวแรกของ distributed inference stack โดยเลเยอร์แบบ open-source และ Kubernetes-native นี้จะเปลี่ยน model server ของ vLLM หรือ SGLang ให้กลายเป็นพูลที่ทำงานร่วมกัน

การเปิดตัวในงาน PyTorch Conference North America ครั้งนี้มุ่งเป้าไปที่เวิร์กโหลดประเภท self-hosted agent และ RL (Reinforcement Learning) ซึ่งระบบโหลดบาลานซ์แบบ round-robin เริ่มทำงานได้ไม่เต็มประสิทธิภาพในสภาวะดังกล่าว

สรุปข้อมูลสำคัญ (TL;DR)

• serving stack: Google รายงานผลการทดสอบประสิทธิภาพบนการปรับใช้ GKE แบบหลายภูมิภาคจำนวน 17,000 โหนด
• การรองรับ: ทำงานบน Kubernetes ร่วมกับ NVIDIA, AMD หรือ Intel GPU รวมถึง Google TPU ผ่าน vLLM หรือ SGLang
• ประสิทธิภาพ: เพิ่มขึ้นจากระบบ cache-aware routing, tiered KV cache offload และการแยกส่วน prefill/decode (disaggregation)
• ผลลัพธ์ที่ดีที่สุด: ค่ามัธยฐานของ TTFT ลดลงมากกว่า 85% พร้อม throughput เพิ่มขึ้น 2.4 เท่า ในเวิร์กโหลดการเขียนโค้ดบน Ironwood TPU
• ข้อจำกัด: การทำ RL time-slicing ช่วยเพิ่ม accelerator duty cycle ได้มากกว่า 70% แต่ยังคงมี idle time เหลืออยู่ประมาณ 30%

llm-d 1.0 คืออะไร?

llm-d ก่อตั้งขึ้นในปี 2025 โดย Red Hat, IBM, Google Cloud, CoreWeave และ NVIDIA โดยมี Red Hat, IBM และ Google เป็น ผู้ดูแลหลัก (lead maintainers) โปรเจกต์นี้มีผู้ร่วมสนับสนุนมากกว่า 500 รายจากกว่า 25 องค์กร

ปัจจุบันเป็น โปรเจกต์ CNCF Sandbox ที่ได้รับการตอบรับเมื่อวันที่ 12 มีนาคม 2026 และ ใช้สัญญาอนุญาตแบบ Apache 2.0 โดยเวอร์ชัน 1.0 มุ่งเน้นการทำให้ฟีเจอร์อย่าง prefix-aware routing และ KV cache offloading ทำงานได้อย่างเสถียรในการใช้งานจริง (production) หรือที่ IBM เรียกว่า day 2 operations

มีอะไรใหม่ใน llm-d 1.0?

• Multi-tenant quality of service: ระบบ flow control ที่คำนึงถึงลำดับความสำคัญ ช่วยป้องกันไม่ให้ agent แบบ bursty แย่งทรัพยากรจากคำขอที่ไวต่อ latency
• รากฐานที่เสถียร: มาพร้อม v1 API และเส้นทางการส่ง request ที่แข็งแกร่งขึ้น ผ่านการตรวจสอบบนหลายคลาวด์และตัวเร่งความเร็ว (accelerators)
• การอัปเกรดแบบ Zero-downtime: เราเตอร์มีความพร้อมใช้งานสูง (HA) พร้อมระบบ hot standby และ DisaggregatedSet ที่รวมพูล prefill และ decode เข้าด้วยกัน
• การให้บริการแบบ Agent-aware: รองรับการเลือกเส้นทางแบบ session-aware และการจัดตารางเวลาตามลำดับความสำคัญของแต่ละเทิร์น
• Async inference: llm-d-async-processor จะดึงงานจาก Google Cloud Pub/Sub หรือ Redis เข้ามาใช้ในช่วงที่ทรัพยากรว่าง
• ขยายการรองรับ TPU: TorchTPU ช่วยให้รันโมเดล PyTorch แบบเนทีฟภายใน vLLM และ SGLang ได้

หลักการเลือกเส้นทางสำหรับ request

เราเตอร์ของ llm-d พัฒนาบน Kubernetes Gateway API Inference Extension โดยจะติดตามว่า replica ใดเก็บ prefix ที่แคชไว้ จากนั้นจะประเมินภาระงานและ latency ก่อนเลือก replica เพื่อให้ agent เข้าถึง context เดิมได้ทันที

เมื่อหน่วยความจำตัวเร่งความเร็วเต็ม KV cache จะถูกย้ายไปยัง host memory, SSD หรือ Managed Lustre โดยใช้ OffloadingConnector ของ vLLM หรือโซลูชันของ SGLang นอกจากนี้ยังแยกพูลการรัน prefill และ decode ออกจากกัน เพื่อเพิ่มประสิทธิภาพตามลักษณะการประมวลผลที่แตกต่างกัน

ผลทดสอบประสิทธิภาพ

• Ironwood TPU (TPU 7x): ลดค่ามัธยฐาน TTFT ได้กว่า 85% และมี throughput เพิ่มขึ้น 2.4 เท่าเมื่อเทียบกับ Kubernetes ปกติ
• แพลตฟอร์ม Gemini: อัตรา prefix cache hit เพิ่มขึ้นจาก 35% เป็น 70% และค่า TTFT ลดลงมากกว่า 35% สำหรับ coding agent
• การทดสอบ GKE 17,000 โหนด: throughput ขยายตัว 2.9 เท่า ด้วยอัตราความสำเร็จ 99.9% และมี overhead ต่ำกว่า 1%
• Zenteiq: รายงาน throughput เพิ่มขึ้นกว่า 4 เท่า หรือประมาณ 5.97 พันล้านโทเคนต่อวันต่อชิป TPU v6e 1,000 ตัว

การเปรียบเทียบในตลาด

ทั้งนี้ เครื่องมือเหล่านี้ไม่ใช่คู่แข่งกันโดยตรง เนื่องจาก CoreWeave รัน llm-d ควบคู่ไปกับ Dynamo และ NVIDIA ยังมีส่วนร่วมในการส่งส่วนประกอบให้แก่โปรเจกต์ llm-d อีกด้วย

การปรับใช้ llm-d 1.0

สำหรับผู้ใช้ Google Cloud สามารถใช้ GKE Inference Gateway เพื่อรัน llm-d router ในรูปแบบ managed service ซึ่งรองรับการทำ global failover ข้ามภูมิภาค โดยสามารถเปรียบเทียบผลการรันได้ที่ Prism

ทีม Google แนะนำให้เริ่มจากการใช้ prefix-aware routing ร่วมกับ vLLM เดิมที่มีอยู่ แล้วจึงค่อยเพิ่มฟีเจอร์ flow control และ tiered KV offload ตามความเหมาะสมของระบบ