tag: Sparse Attention

Zyphra เปิดตัว ZHA ระบบ Sparse Attention แบบต้นไม้ ประสิทธิภาพเทียบชั้น Dense

Zyphra เปิดตัว ZHA ระบบ Sparse Attention แบบต้นไม้ ประสิทธิภาพเทียบชั้น Dense

· By: TanasakP
Zyphra Hierarchical Attention (ZHA) คือนวัตกรรม Sparse Attention แบบโครงสร้างต้นไม้ที่ช่วยให้ LLM ขนาดใหญ่ประมวลผลบริบทได้ยาวถึง 256K โดยใช้ทรัพยากรน้อยลงแต่ยังคงความแม่นยำใกล้เคียงกับ Dense Attention
เร่งสปีด Video Diffusion บน TPU ด้วยเทคนิค Sparse Attention

เร่งสปีด Video Diffusion บน TPU ด้วยเทคนิค Sparse Attention

· By: TanasakP
Google พัฒนาเทคนิคการจัดวาง Token และการปรับแต่ง Sparse Attention Kernel บน TPU ช่วยลดความหน่วงและเพิ่มความเร็วในการสร้างวิดีโอความละเอียดสูงได้สูงสุดถึง 1.69 เท่า