tag: Speculative Decoding

Liquid AI เปิดตัว LFM2.5-DSpark เร่งความเร็วการประมวลผลโมเดลภาษาได้สูงสุด 3.2 เท่า

Liquid AI เปิดตัว LFM2.5-DSpark เร่งความเร็วการประมวลผลโมเดลภาษาได้สูงสุด 3.2 เท่า

· By: SirilukP
Liquid AI เปิดตัว DSpark draft model สำหรับโมเดลตระกูล LFM2.5 ช่วยเร่งความเร็วการประมวลผล (inference) สูงสุด 3.2 เท่าบน GPU และอุปกรณ์พกพา ผ่านเทคนิค speculative decoding โดยยังคงคุณภาพของผลลัพธ์ไว้เท่าเดิม พร้อมรองรับ llama.cpp และ SGLang ทันที
Tencent เปิดตัว AngelSpec เฟรมเวิร์ก Open-Source เร่งสปีดการเทรน Speculative Decoding ให้โมเดล AI

Tencent เปิดตัว AngelSpec เฟรมเวิร์ก Open-Source เร่งสปีดการเทรน Speculative Decoding ให้โมเดล AI

· By: AttapolK
Tencent เปิดตัว AngelSpec เฟรมเวิร์กแบบ torch-native สำหรับเทรน draft models ช่วยเพิ่มความเร็วในการประมวลผลสูงสุด 2.4 เท่า โดยมาพร้อมสถาปัตยกรรม DFly ที่โดดเด่นด้านงานเขียนโค้ดและคณิตศาสตร์