tag: Benchmark Optimization

เผยกลยุทธ์ 'Benchmaxxing': เมื่อโมเดล AI จดจำเสียงเริ่ม 'เดาข้อสอบ' จนคะแนนสูงเกินจริง

เผยกลยุทธ์ 'Benchmaxxing': เมื่อโมเดล AI จดจำเสียงเริ่ม 'เดาข้อสอบ' จนคะแนนสูงเกินจริง

งานวิจัยพบว่าโมเดล AI จดจำเสียงชื่อดังหลายตัวอาจถูกปรับแต่งให้ทำคะแนนเบนช์มาร์กได้สูงเกินจริง โดยใช้วิธีเลียนแบบข้อผิดพลาดหรือรูปแบบการเขียนเฉพาะในชุดข้อมูลทดสอบแทนการฟังเสียงจริงๆ