tag: HOPE

HOPE วิธีลดขนาดโมเดล MoE แบบใหม่ที่รักษาประสิทธิภาพได้สูงสุด

HOPE วิธีลดขนาดโมเดล MoE แบบใหม่ที่รักษาประสิทธิภาพได้สูงสุด

· By: SirilukP
นักวิจัยนำเสนอ HOPE อัลกอริทึมการ Pruning แบบ Second-order สำหรับโมเดล MoE ที่พิจารณาการทำงานร่วมกันระหว่าง Expert ช่วยลดขนาดหน่วยความจำได้ถึง 50% โดยไม่เสียความสามารถในการเขียนโค้ด