tag: llm-d

Google Cloud เปิดตัว llm-d 1.0 ยกระดับการประมวลผล LLM ด้วย Cache-Aware

Google Cloud เปิดตัว llm-d 1.0 ยกระดับการประมวลผล LLM ด้วย Cache-Aware

· By: TanasakP
Google ร่วมกับ Red Hat และ IBM เปิดตัว llm-d 1.0 สแต็กโอเพนซอร์สแบบ Kubernetes-native สำหรับการทำ distributed LLM inference ที่รองรับทั้ง TPU และ GPU พร้อมระบบควบคุมข้อมูลแบบ multi-tenant