tag: LLM Agents

Tsinghua เปิดตัว AKV ระบบจัดการ KV Cache ลดต้นทุน AI Agent เกือบ 28%

Tsinghua เปิดตัว AKV ระบบจัดการ KV Cache ลดต้นทุน AI Agent เกือบ 28%

· By: AttapolK
ทีมนักวิจัยจาก Tsinghua เปิดตัว AKV ระบบโอเพนซอร์สบน SGLang ที่ช่วยให้ LLM Agents จัดการลบและจัดตำแหน่ง KV Cache ได้เอง แทนการสรุปเนื้อหาแบบเดิม ช่วยลดต้นทุนลง 27.7% พร้อมเพิ่มประสิทธิภาพการทำงาน
LLM Agents - ai4bro.com