tag: ZHA

Zyphra เปิดตัว ZHA ระบบ Sparse Attention แบบต้นไม้ ประสิทธิภาพเทียบชั้น Dense

Zyphra เปิดตัว ZHA ระบบ Sparse Attention แบบต้นไม้ ประสิทธิภาพเทียบชั้น Dense

· By: TanasakP
Zyphra Hierarchical Attention (ZHA) คือนวัตกรรม Sparse Attention แบบโครงสร้างต้นไม้ที่ช่วยให้ LLM ขนาดใหญ่ประมวลผลบริบทได้ยาวถึง 256K โดยใช้ทรัพยากรน้อยลงแต่ยังคงความแม่นยำใกล้เคียงกับ Dense Attention