BenchMIRT: เจาะลึกความจริงเบื้องหลังคะแนน Benchmark ของ LLM

📄 Tech Report: http://allenai.org/papers/benchmirt | 📊 Data: https://huggingface.co/collections/allenai/benchmirt | 💻 Code: https://github.com/allenai/BenchMIRT

วันนี้นักวิจัยเปิดตัว BenchMIRT วิธีการใหม่สำหรับตรวจสอบความสามารถของ LLM ในระดับรายข้อ (prompt) เพื่อดูว่าคะแนนที่ได้รับในแต่ละบททดสอบสะท้อนความจริงมากน้อยเพียงใด โดยปกติแล้ว Benchmark มักถูกออกแบบมาเพื่อวัดทักษะเฉพาะด้าน เช่น ความปลอดภัย การใช้เหตุผลทั่วไป หรือการปฏิบัติตามคำสั่ง แต่ในทางปฏิบัติ งานย่อยภายในอาจขึ้นอยู่กับปัจจัยอื่นมากกว่าเป้าหมายที่ตั้งไว้

ตัวอย่างที่เห็นได้ชัดคือ BBQ ซึ่งเป็นชุดทดสอบอคติทางสังคม (Social Bias) เช่น คำถามเกี่ยวกับหลานชายและคุณปู่ที่จอง Uber เพื่อวัดอคติเรื่องอายุ ทว่าในความเป็นจริง ข้อนี้กลับบีบให้โมเดลต้องใช้ทักษะการติดตามลำดับเหตุการณ์และการใช้เหตุผลจากหลักฐานมากกว่าการวัดอคติเพียงอย่างเดียว หรือแม้แต่ใน WildJailbreak ที่ผสมผสานคำถามอันตรายเข้ากับคำถามทั่วไป ทำให้การนำคะแนนมาเฉลี่ยรวมกันอาจบดบังความแตกต่างของทักษะที่แท้จริงได้

BenchMIRT จึงเข้ามาช่วยให้นักวิจัยแยก "สัญญาณ" เหล่านี้ออกจากกัน เพื่อดูว่าอะไรคือตัวขับเคลื่อนคะแนนที่แท้จริง โดยการวิเคราะห์ผลงานรายข้อคำถามและประเมินว่าความสามารถพื้นฐานใดที่จำเป็นที่สุดในการตอบคำถามนั้นๆ ให้ถูกต้อง

การค้นหาสัญญาณภายใน benchmark

BenchMIRT ต่อยอดแนวคิดจาก Item Response Theory (IRT) ซึ่งเป็นเทคนิคจากสาขาจิตมิติ (Psychometrics) ที่ใช้ในการวัดความสามารถจากรูปแบบการตอบข้อสอบ โดยมีพื้นฐานว่าคำถามแต่ละข้อให้ข้อมูลเกี่ยวกับผู้ทำข้อสอบไม่เท่ากัน บางข้อมีความยากสูงกว่า หรือบางข้อแยกคนเก่งออกจากคนไม่เก่งได้ดีกว่า

ก่อนหน้านี้มีการใช้ IRT แบบมิติเดียว (Single-dimensional IRT) ในงานอย่าง Fluid Benchmarking แต่ BenchMIRT ได้ขยายผลด้วย Multidimensional IRT (MIRT) เพื่อแยกแยะความสามารถหลายด้านที่อาจส่งผลต่อคำถามเดียวพร้อมกัน ระบบนี้จะประเมินทั้งความแข็งแกร่งของโมเดลตามความสามารถที่สะท้อนออกมา และประเมินความยากของคำถามไปพร้อมๆ กัน

ทีมนักวิจัยได้ฝึกฝน BenchMIRT ด้วยผลการทดสอบจาก 100 LLMs ใน 16 Benchmark รวมคำถามกว่า 34,000 ข้อ ครอบคลุมทั้งด้านการใช้เหตุผลทั่วไป (เช่น MMLU-Pro, GPQA, MATH) และด้านความปลอดภัย (เช่น HarmBench, StrongReject, BBQ, WMDP) โดยที่ไม่ได้กำหนดล่วงหน้าว่า Benchmark ไหนใช้วัดอะไร แต่ระบบสามารถค้นพบ 2 มิติหลักที่แยกจากกันอย่างอิสระได้เอง คือ "ความปลอดภัย" และ "การใช้เหตุผลทั่วไป"

สิ่งที่ BenchMIRT เปิดเผยเกี่ยวกับ benchmark ที่มีอยู่

ผลการวิเคราะห์พบว่าหลาย Benchmark วัดผลได้ตรงตามเป้าหมายเดิม แต่บางรายการกลับให้ผลที่ซับซ้อนกว่านั้น เช่น BBQ ที่ถูกมองว่าเป็นตัววัดความปลอดภัยมาตลอด กลับมีความสอดคล้องกับการใช้เหตุผลทั่วไปมากกว่า นั่นหมายความว่าหากโมเดลได้คะแนน BBQ ต่ำ อาจเป็นเพราะโมเดลอ่านโจทย์ไม่เข้าใจ มากกว่าจะเป็นเรื่องพฤติกรรมที่ไม่ปลอดภัย

ในกรณีของ WMDP ซึ่งทดสอบความรู้ที่เป็นอันตราย (Dual-use) เช่น ชีววิทยาหรือไซเบอร์ซีเคียวริตี้ BenchMIRT พบว่าคะแนนมีความสัมพันธ์กับการใช้เหตุผลทั่วไปอย่างมาก แต่สิ่งที่น่าสนใจคือ โมเดลที่มีการใช้เหตุผลแข็งแกร่งกว่ากลับได้คะแนน WMDP ต่ำลง เพราะโมเดลมักจะปฏิเสธการให้ข้อมูลที่เป็นอันตรายซึ่งถือเป็นคำตอบที่ต้องการในชุดทดสอบนี้

นอกจากนี้ HarmBench ยังแสดงให้เห็นถึงความผสมผสานของคำถาม เช่น โจทย์การเขียนอีเมล phishing จะเน้นที่มิติด้านความปลอดภัย แต่โจทย์ด้านลิขสิทธิ์อย่างการให้เขียนเนื้อเพลงของ Louis Armstrong กลับไปวัดที่การใช้เหตุผลทั่วไปแทน สิ่งเหล่านี้ชี้ให้เห็นว่า BenchMIRT ช่วยแยกสัญญาณที่ปนกันอยู่เพื่อให้มนุษย์ตีความคะแนนได้แม่นยำขึ้น

ความยากของข้อคำถาม (Item difficulty) และการจำแนก (discrimination) ในทั้งสองมิติสำหรับ Harmbench โดยมิติ 0 (Dimension 0) จำลองมิติด้านความปลอดภัย ในขณะที่มิติ 1 (Dimension 1) เชื่อมโยงกับมิติด้านการใช้เหตุผลทั่วไป

ขนาดและทิศทางของแท่งกราฟแสดงความสัมพันธ์แบบ Pearson ใน 100 open-weight LLMs ระหว่างคะแนนความสามารถของ BenchMIRT และคะแนน benchmark ในสเกล -1 ถึง 1 โดยสีชมพูคือการใช้เหตุผลทั่วไป และสีเขียวแกมน้ำเงินคือความปลอดภัย แท่งที่ยื่นออกไปทางซ้ายของจุดศูนย์กลางคือค่าลบ ตัวหนาพร้อมขีดเส้นใต้ระบุความสัมพันธ์ที่แข็งแกร่งกว่าในแต่ละแถว ยกเว้นในกรณีที่ทั้งสองค่าใกล้เคียงกันเกินกว่าจะแยกออก ดอกจันระบุค่า p < 0.01

ทำได้มากขึ้นด้วยคำถามที่น้อยลง

ความสามารถที่โดดเด่นอีกประการคือการคัดกรองคำถาม BenchMIRT สามารถระบุได้ว่าคำถามใดให้ข้อมูลสำคัญที่สุด พบว่าการใช้คำถามเพียง 10% จากชุดเดิมก็เพียงพอที่จะรักษาความแม่นยำในการจัดอันดับโมเดลได้เกือบเท่าเดิม และหากใช้คำถามเพียง 50% ก็แทบจะให้ผลลัพธ์ไม่ต่างจากการทดสอบเต็มรูปแบบ

นอกจากนี้ ระบบยังสามารถคาดการณ์พฤติกรรมของโมเดลในคำถามที่ไม่เคยเห็นมาก่อนได้ถูกต้องถึง 79% ซึ่งสูงกว่าการคาดการณ์แบบเดิมที่ใช้คะแนนเฉลี่ย (ซึ่งทำได้เพียง 70%) ช่วยให้การประเมินประสิทธิภาพทำได้รวดเร็วและประหยัดทรัพยากรมากขึ้นโดยไม่จำเป็นต้องส่งทุกคำถามให้โมเดลตอบทั้งหมด

สิ่งนี้อาจมีความหมายอย่างไรต่อการประเมิน LLM

แม้ BenchMIRT จะเป็นก้าวสำคัญ แต่ยังมีข้อจำกัดเรื่องข้อมูลของโมเดลที่ใช้ฝึกซึ่งครอบคลุมถึงเพียงเดือนมีนาคม 2025 และมิติที่ค้นพบอาจเปลี่ยนแปลงไปตามชุด Benchmark ที่เลือกมาใช้งาน นอกจากนี้ ความละเอียดระดับรายคำถามยังอาจเป็นดาบสองคม หากถูกนำไปใช้เพื่อตัดคำถามที่ยากเกินไปออกเพื่อทำให้โมเดลดูเหมือนผ่านมาตรฐานความปลอดภัย

อย่างไรก็ตาม ทีมวิจัยมองว่าความโปร่งใสในการรู้ว่าเรากำลังวัดผลอะไรกันแน่เป็นสิ่งที่มีค่ามากกว่าความเสี่ยงดังกล่าว BenchMIRT จะช่วยให้นักวิจัยสามารถสร้างชุดทดสอบที่จดจ่อ มีขนาดเล็กลง และตีความผลลัพธ์ได้อย่างชัดเจนตามเป้าหมายที่แท้จริงในการพัฒนา AI ต่อไป