tag: vLLM

vLLM Semantic Router เปิดตัว d3-ultra โมเดลแบบ open-weight ขนาด 27B ที่สามารถประมวลผลข้อความ รูปภาพ และวิดีโอได้ในครั้งเดียวเพื่อส่งคืนค่าความน่าจะเป็นสำหรับการตัดสินใจโดยเฉพาะ

Google ร่วมกับ Red Hat และ IBM เปิดตัว llm-d 1.0 สแต็กโอเพนซอร์สแบบ Kubernetes-native สำหรับการทำ distributed LLM inference ที่รองรับทั้ง TPU และ GPU พร้อมระบบควบคุมข้อมูลแบบ multi-tenant

Google Cloud ประกาศเปิดตัว PyTorch backend แบบ native สำหรับเอนจิน vLLM และ SGLang บน TPU เพื่อเพิ่มประสิทธิภาพการทำ inference และตอบโจทย์การพัฒนา AI ระดับ Agentic

โครงการ Granite Switch เปิดตัวเวอร์ชัน 4.1 ที่ผสานโมเดล Granite เข้ากับ aLoRA adapters ช่วยให้สลับการทำงานระหว่างการแชท การตัดสินใจ และการแปลงเสียงเป็นข้อความได้รวดเร็วบน GPU ตัวเดิม

เจาะลึกกลไกที่ทำให้ LLM ทำงานได้รวดเร็วผ่าน 5 โปรเจกต์ลงมือทำจริง ตั้งแต่การสร้างระบบจัดการหน่วยความจำไปจนถึงการเขียน GPU Kernel

ตรวจพบช่องโหว่ระดับวิกฤต CVE-2026-105192 ใน LMCache ซอฟต์แวร์เร่งความเร็ว LLM ซึ่งช่วยให้ผู้โจมตีสามารถรันโค้ดอันตรายด้วยสิทธิ์ Root ได้โดยไม่ต้องระบุตัวตน และปัจจุบันยังไม่มีแพตช์แก้ไข

Aleph Alpha เปิดตัว Kolibri โมเดลภาษาอังกฤษ-เยอรมันขนาด 78.1B แบบ Open-Weight ที่ใช้ทรัพยากรต่ำเพียง 3.46B พารามิเตอร์ต่อโทเค็น พร้อมรองรับบริบทสูงสุดถึง 1 ล้านโทเค็น

Prime Intellect เปิดตัวแพลตฟอร์ม Prime Inference รองรับการให้บริการโมเดลโอเพนซอร์สระดับแนวหน้าผ่าน NVIDIA Blackwell ชูจุดเด่นความเร็ว 101 tok/s ต่อผู้ใช้ด้วยเทคโนโลยี GLM-5.3 และระบบ Cache-aware routing

โมเดลรุ่นใหม่ ThinkingCap-Qwen3.8-27B ปรับจูนจาก Qwen3.8-27B ให้ใช้ Thinking Tokens น้อยลงถึง 37.2% โดยยังคงความแม่นยำรวมไว้ได้เกือบเท่าเดิมและทำงานในบริบทข้อมูลยาวได้ดียิ่งขึ้น

NVIDIA NeMo Labs เปิดตัว Molt เฟรมเวิร์กสำหรับการวิจัยการเรียนรู้แบบเสริมกำลังเชิงเอเจนต์ (Agentic RL) ที่เน้นความเรียบง่ายด้วยโค้ดเพียง 8,600 บรรทัด พร้อมรองรับการทำงานร่วมกับ Ray และ vLLM โดยตรง

Feyn Labs เปิดตัว SQRL ตระกูลโมเดล text-to-SQL ที่ใช้ระบบตรวจสอบแบบอ่านอย่างเดียว (read-only probes) เพื่อแก้ปัญหากำกวมของข้อมูล โดยรุ่นเรือธงทำความแม่นยำได้ถึง 70.6% แซงหน้า Claude 3.5 Opus ในการทดสอบ BIRD Dev benchmark

vLLM อัปเกรดแบ็กเอนด์ Transformers ให้มีประสิทธิภาพเทียบเท่าหรือสูงกว่าการเขียนโค้ดเฉพาะทาง ช่วยให้ผู้พัฒนาสามารถรันโมเดล LLM หลากหลายสถาปัตยกรรมได้ทันทีด้วยความเร็วสูงสุด