Google เปิดตัวเอนจิน vLLM และ SGLang บน TPU รองรับ PyTorch Native

20 ต.ค. 2026

Google ประกาศเปิดตัว PyTorch backend แบบ native สำหรับ vLLM (พัฒนาร่วมกับ Inferact) และ SGLang (พัฒนาร่วมกับ RadixArk) ซึ่งเป็นส่วนหนึ่งของการขยายขอบเขตการรองรับ PyTorch บนระบบโครงสร้างพื้นฐาน TPU เพื่อประสิทธิภาพการทำ inference ระดับสูง

ตลอดหลายปีที่ผ่านมา TPU ได้ขับเคลื่อนเวิร์กโหลด AI ขนาดใหญ่ด้วยประสิทธิภาพที่โดดเด่น แต่ด้วยการเพิ่มขึ้นของเวิร์กโหลดแบบ agentic และ multimodal การให้บริการ (serving) ที่มีประสิทธิภาพจึงทวีความสำคัญมากขึ้น นักพัฒนาจำนวนมากต้องการปรับแต่งและ debug ชุดซอฟต์แวร์ผ่าน PyTorch ที่คุ้นเคย แทนที่จะใช้ JAX เพียงอย่างเดียว

ด้วยเหตุนี้ Google จึงได้พัฒนา TorchTPU เพื่อให้ PyTorch สามารถรันบน TPU ได้แบบ native และสร้างเอนจิน vLLM และ SGLang ใหม่บนพื้นฐานนี้ เพื่อให้ชุมชนนักพัฒนาสามารถนำโมเดลมาปรับใช้ได้รวดเร็วยิ่งขึ้น

ในด้านเทคนิค TorchTPU เปลี่ยน TPU ให้เป็นอุปกรณ์ PyTorch แบบ native โดย Tensors จะถูกจัดการในรูปแบบมาตรฐานบนอุปกรณ์ tpu โดยตรง โค้ดสามารถรันแบบ eager หรือคอมไพล์ผ่าน torch.compile โดยใช้ XLA และรองรับการจัดการส่วนรวมผ่าน torch.distributed อย่างเต็มรูปแบบ

เอนจินทั้งสองมาพร้อมฟีเจอร์ที่รองรับเวิร์กโหลดทุกรูปแบบ ดังนี้:

• Agentic & Multi-Turn: รองรับการทำ prefix caching อัตโนมัติ, การทำ KV cache offloading ผ่าน TPU Sync, รวมถึงการเรียกใช้เครื่องมือ (tool calling)
• Interactive & Low Latency: เพิ่มความเร็วด้วย speculative decoding หลากหลายรูปแบบ เช่น MTP, EAGLE-3 และ DFlash
• High-throughput & Long Context: รองรับการขนานข้อมูล (Data-parallel attention), FP8 KV cache และการทำ disaggregated serving แยกส่วน prefill และ decode ออกจากกัน
• Multimodal & Large Models: รองรับโมเดล vision-language และโมเดลขนาดใหญ่ผ่านสถาปัตยกรรมแบบไฮบริดและเช็คพอยต์รูปแบบ FP8, INT8 ไปจนถึง INT4

ไลบรารีโอเพนซอร์ส TPU Sync ถูกนำมาใช้เพื่อจัดการ KV cache บน TPU โดยตรง ช่วยให้การรับส่งข้อมูลทำได้ควบคู่ไปกับการคำนวณโดยไม่ต้องทำสำเนาพักบนโฮสต์ ส่งผลให้ latency ต่ำลงอย่างเห็นได้ชัด

จากการทดสอบด้วยมาตรฐาน SemiAnalysis InferenceX พบว่า Ironwood TPU (TPU 7x) สามารถทำต้นทุนต่อล้านโทเค็นได้ต่ำที่สุดเพียง 2.01 เซนต์ และขึ้นเป็นผู้นำในเกือบทุกด้านของ AgentX ซึ่งเน้นการประเมินเวิร์กโหลดแบบ agentic long-context และ multi-turn

นอกจากนี้ ความร่วมมือกับผู้สร้างโอเพนซอร์สยังมีความคืบหน้าอย่างมาก โดย SGLang-TorchTPU เริ่มใช้งานจริงแล้วที่ Meta เพื่อรองรับโครงสร้างพื้นฐาน AI ที่ต้องการความยืดหยุ่นสูง ขณะที่ vLLM-TorchTPU สามารถให้บริการโมเดล Kimi K3 ขนาด 2.8 ล้านล้านพารามิเตอร์ ได้มากกว่า 700 โทเค็นต่อวินาที

ปัจจุบันเอนจินทั้งสองรองรับโมเดลยอดนิยมมากมาย เช่น Qwen, DeepSeek, GLM, Kimi และ Gemma4 โดย vLLM ยังได้เปิดตัวกลุ่มทรัพยากร TPU (capacity pool) ให้นักพัฒนาในชุมชนเข้าใช้งานได้ฟรีเพื่อส่งเสริมระบบนิเวศแบบเปิดต่อไป

เริ่มต้นใช้งานได้ที่:

• vLLM-TorchTPU: https://github.com/vllm-project/vllm-torchtpu
• SGLang-TorchTPU: https://github.com/sgl-project/sglang-torchtpu
• TorchTPU: https://github.com/google-pytorch/torch_tpu