Artificial Analysis ปรับดัชนีใหม่ พบช่องว่างโมเดลเปิด-ปิดกว้างขึ้น

Artificial Analysis ปรับปรุงดัชนีความฉลาด (Intelligence Index) ใหม่ ส่งผลให้ Kimi K3.1 Pro อันดับร่วงลงไป 5 อันดับในการจัดอันดับ โดยโมเดลนี้เคยเปิดตัวใน อันดับที่สี่ แต่ล่าสุดกลับตกลงมาอยู่อันดับที่เก้าตามหลังโมเดลแบบปิด 8 โมเดลใน เวอร์ชัน 5 ซึ่งขณะนี้ Artificial Analysis ระบุว่าช่องว่างคะแนนระหว่างโมเดลแบบเปิดและอันดับสูงสุดบนตารางเพิ่มขึ้นเป็น 12 คะแนน จากเดิมที่ห่างกันเพียง 3 คะแนน

การเปลี่ยนแปลงครั้งนี้ถือเป็นครั้งแรกที่ดัชนีกว่า 60 เปอร์เซ็นต์พึ่งพาชุดทดสอบส่วนตัว (private test sets) เพื่อป้องกันปัญหา "benchmaxxing" หรือแนวปฏิบัติในการฝึกฝนโมเดลโดยเน้นเก็งข้อสอบในชุดทดสอบที่ทราบล่วงหน้า ซึ่งการลดลงของคะแนน Kimi K3.1 Pro บ่งชี้ว่าดัชนีแบบเก่าอาจทำให้โมเดลบางตัวมีประสิทธิภาพดูดีเกินความเป็นจริง เช่นเดียวกับ Grok 4.7 ที่เสียคะแนนไปถึง 12 คะแนนเช่นกัน

Nathan Lambert นักวิจัย AI ให้ความเห็นว่า benchmaxxing เป็นเพียงส่วนหนึ่งของปัญหาเท่านั้น เนื่องจากความก้าวหน้าในการฝึกฝนโมเดลส่วนใหญ่ในปัจจุบันมักเกิดขึ้นในสภาพแวดล้อมการเรียนรู้แบบเสริมกำลัง (reinforcement learning) ด้วยงานที่มีลักษณะคล้ายคลึงกับเกณฑ์มาตรฐาน (benchmarks) ซึ่งการจะก้าวตามให้ทันในหลายโดเมนพร้อมกันต้องอาศัยโครงสร้างพื้นฐาน RL ที่ซับซ้อนซึ่งไม่ใช่ทุกห้องแล็บจะครอบครอง

อย่างไรก็ตาม ชุดทดสอบแบบปิดก็มีข้อเสียเนื่องจากบุคคลภายนอกไม่สามารถตรวจพบข้อผิดพลาดในพรอมต์ได้อีกต่อไป โดยการทดสอบความรู้ AA-Omniscience ได้พิสูจน์ให้เห็นว่าข้อผิดพลาดเหล่านั้นมีอยู่จริง ทำให้ Artificial Analysis ต้องดำเนินการแก้ไขคำถามที่กำกวมและบกพร่องในเกณฑ์มาตรฐานสำหรับดัชนีตัวใหม่นี้