tag: vLLM

NVIDIA เปิดตัว Molt เฟรมเวิร์ก Agentic RL ขนาดกะทัดรัด รองรับ PyTorch แบบ Native

NVIDIA เปิดตัว Molt เฟรมเวิร์ก Agentic RL ขนาดกะทัดรัด รองรับ PyTorch แบบ Native

· By: AttapolK
NVIDIA NeMo Labs เปิดตัว Molt เฟรมเวิร์กสำหรับการวิจัยการเรียนรู้แบบเสริมกำลังเชิงเอเจนต์ (Agentic RL) ที่เน้นความเรียบง่ายด้วยโค้ดเพียง 8,600 บรรทัด พร้อมรองรับการทำงานร่วมกับ Ray และ vLLM โดยตรง
Feyn AI เปิดตัว SQRL โมเดล Text-to-SQL สายพันธุ์ใหม่ ตรวจสอบฐานข้อมูลจริงก่อนเขียน Query

Feyn AI เปิดตัว SQRL โมเดล Text-to-SQL สายพันธุ์ใหม่ ตรวจสอบฐานข้อมูลจริงก่อนเขียน Query

· By: NatapolK
Feyn Labs เปิดตัว SQRL ตระกูลโมเดล text-to-SQL ที่ใช้ระบบตรวจสอบแบบอ่านอย่างเดียว (read-only probes) เพื่อแก้ปัญหากำกวมของข้อมูล โดยรุ่นเรือธงทำความแม่นยำได้ถึง 70.6% แซงหน้า Claude 3.5 Opus ในการทดสอบ BIRD Dev benchmark
ยกระดับ vLLM: เมื่อ Backend ของ Transformers เร็วแรงระดับ Native โดยไม่ต้องแก้โค้ด

ยกระดับ vLLM: เมื่อ Backend ของ Transformers เร็วแรงระดับ Native โดยไม่ต้องแก้โค้ด

· By: TanasakP
vLLM อัปเกรดแบ็กเอนด์ Transformers ให้มีประสิทธิภาพเทียบเท่าหรือสูงกว่าการเขียนโค้ดเฉพาะทาง ช่วยให้ผู้พัฒนาสามารถรันโมเดล LLM หลากหลายสถาปัตยกรรมได้ทันทีด้วยความเร็วสูงสุด