tag: Inference

Google แนะนำรูปแบบ Inference ใหม่สำหรับ A2UI ที่ลด Latency ลงอย่างมาก พร้อมเปิดตัว A2UI Express และการใช้งานร่วมกับ Jev เพื่อสร้าง UI ที่รวดเร็วและแม่นยำยิ่งขึ้น

DeepSeek ปล่อยซอร์สโค้ด DeepInfer ซึ่งเป็นเอนจิ้นสำหรับรันโมเดลขนาดใหญ่ให้มีประสิทธิภาพสูง โดยรองรับทั้งการ์ดจอ NVIDIA และชิป Ascend NPU ของ Huawei

Google Cloud ประกาศเปิดตัว PyTorch backend แบบ native สำหรับเอนจิน vLLM และ SGLang บน TPU เพื่อเพิ่มประสิทธิภาพการทำ inference และตอบโจทย์การพัฒนา AI ระดับ Agentic

Architect Financial Technologies เปิดตัว Liquid Inference ตลาดกลางสำหรับการประมวลผล LLM ที่ใช้วิธีประมูลสดรายคำขอ เพื่อให้ผู้ใช้ได้รับราคาประมวลผลที่ถูกที่สุดตามเงื่อนไขที่กำหนด

NVIDIA เปิดตัวโปรเจกต์ open-source TensorRT Model Connect (TRTMC) ช่วยแปลงโมเดลจาก Hugging Face สู่ระบบ Inference ด้วยภาษา C++ ได้โดยตรงโดยไม่ต้องผ่าน ONNX หรือใช้ PyTorch ในขณะรันไทม์

vLLM อัปเกรดแบ็กเอนด์ Transformers ให้มีประสิทธิภาพเทียบเท่าหรือสูงกว่าการเขียนโค้ดเฉพาะทาง ช่วยให้ผู้พัฒนาสามารถรันโมเดล LLM หลากหลายสถาปัตยกรรมได้ทันทีด้วยความเร็วสูงสุด