OpenAI สั่งถอนการรับรองมาตรฐาน SWE-Bench Pro หลังพบโจทย์เขียนโค้ดยอดนิยมมีข้อผิดพลาดเกือบ 30%

ประเด็นสำคัญ

• OpenAI ประกาศถอนการรับรอง SWE-Bench Pro ซึ่งเป็นแบบทดสอบทักษะการเขียนโค้ดของ AI หลังตรวจพบว่าโจทย์ประมาณ 30% มีความบกพร่อง
• ปัญหาหลักเกิดจากการดึงข้อมูลจากโปรเจกต์ซอฟต์แวร์จริง ทำให้โจทย์บางข้อเข้มงวดเกินไป คลุมเครือ หรือชี้นำผิด จนไม่สามารถวัดประสิทธิภาพที่แท้จริงของโมเดลได้
• OpenAI เรียกร้องให้สร้างเกณฑ์มาตรฐานที่มีความน่าเชื่อถือสูงขึ้น สอดคล้องกับที่ Artificial Analysis เคยถอดแบบทดสอบนี้ออกไปก่อนหน้า หลังพบว่าโมเดลบางตัวใช้วิธีลัดคัดลอกคำตอบจากประวัติการเขียนโปรแกรม (commit histories)

OpenAI ตรวจสอบ SWE-Bench Pro แบบทดสอบยอดนิยมสำหรับวัดทักษะการโปรแกรมของโมเดล AI และพบว่าประมาณ 30% ของงานในชุดทดสอบมีข้อผิดพลาด ส่งผลให้บริษัทตัดสินใจถอนการรับรองเกณฑ์มาตรฐานนี้ที่เคยสนับสนุนก่อนหน้านี้

ผลการทดสอบเหล่านี้มีความสำคัญต่อการตัดสินใจปล่อยโมเดลสู่สาธารณะ รวมถึงการประเมินความปลอดภัยภายใต้กรอบ Preparedness Framework ของ OpenAI ดังนั้นหากแบบทดสอบมีข้อผิดพลาด ย่อมทำให้เกิดความเข้าใจผิดเกี่ยวกับขีดความสามารถที่แท้จริงของ AI

ในกระบวนการตรวจสอบ OpenAI ได้ใช้เครื่องมืออัตโนมัติคัดกรองงานที่น่าสงสัยได้ 286 งาน จากนั้นใช้ AI agent ที่สร้างบน Codex ตรวจสอบซ้ำอย่างละเอียด ก่อนให้นักวิจัยมนุษย์เป็นผู้ตัดสินขั้นสุดท้าย ผลปรากฏว่ามี 200 งาน (27.4%) ที่มีความบกพร่อง ขณะเดียวกัน การตรวจสอบคู่ขนานโดยนักพัฒนาซอฟต์แวร์ผู้เชี่ยวชาญ 5 คน พบงานที่บกพร่องสูงถึง 249 งาน (34.1%) สะท้อนว่าผู้ตรวจสอบที่เป็นมนุษย์มีความเข้มงวดมากกว่า AI agent แม้ทั้งสองฝ่ายจะมีความเห็นตรงกันถึง 74% ก็ตาม

ความผิดพลาดเพียง 'ช่องว่างเดียว' ตัดสินผลสอบตก

OpenAI จำแนกปัญหาออกเป็น 4 ประเภท ได้แก่: การทดสอบที่เข้มงวดเกินไปจนปฏิเสธวิธีแก้ปัญหาที่ใช้งานได้จริง, โจทย์ที่คลุมเครือจน AI ต้องอาศัยการเดาใจชุดทดสอบที่ซ่อนอยู่, โจทย์ที่ง่ายเกินไปจนปล่อยให้โค้ดที่ไม่สมบูรณ์ผ่านได้ และคำอธิบายงานที่ชี้นำผิด ตัวอย่างเช่นในโปรเจกต์ OpenLibrary คำอธิบายระบุว่าต้องการช่องว่างเพียง 1 ช่อง แต่ชุดทดสอบเบื้องหลังกลับต้องการ 2 ช่อง ทำให้ AI ที่ทำตามคำสั่งอย่างถูกต้องต้องสอบตกทันที

โจทย์เหล่านี้มีต้นทางมาจากประวัติการคอมมิต (commit histories) ของซอฟต์แวร์จริง ซึ่งเขียนขึ้นเพื่อการทำงานร่วมกันของมนุษย์ ไม่ได้ออกแบบมาเพื่อเป็นแบบทดสอบสำหรับ AI ข้อมูลจาก OpenAI ระบุว่าชุดทดสอบเหล่านี้มักเฉพาะเจาะจงเกินไปเพราะสร้างขึ้นเพื่อตรวจแก้เฉพาะจุด ไม่ใช่ข้อกำหนดทั่วไป ในปัจจุบันพบว่าคะแนนความแม่นยำของโมเดลชั้นนำพุ่งสูงจาก 23.3% เป็น 80.3% ภายในเวลาเพียง 8 เดือน ซึ่ง SWE-Bench Pro เดิมทีถูกตั้งเป้าให้มาแทนที่ SWE-bench Verified รุ่นเก่าที่ OpenAI ได้เลิกใช้ไปแล้วด้วยเหตุผลที่คล้ายกัน

ในครั้งนี้ OpenAI ไม่ได้เสนอตัวตายตัวแทน แต่เรียกร้องให้อุตสาหกรรมร่วมกันสร้างเกณฑ์มาตรฐานใหม่โดยอาศัยผู้เชี่ยวชาญ เพื่อให้ได้แบบทดสอบที่ยากต่อการตบตาและสะท้อนความสามารถที่แท้จริง

เมื่อกลางเดือนมิถุนายนที่ผ่านมา Artificial Analysis ได้ ถอด SWE-Bench Pro ออกจาก Coding Agent Index ของตน ไปแล้ว โดยเปลี่ยนไปใช้ DeepSWE จาก Datacurve แทน เนื่องจากพบว่า SWE-Bench Pro มีช่องโหว่ที่ทำให้โมเดลบางตัวคัดลอกคำตอบจากประวัติโปรเจกต์มาตอบได้โดยไม่ต้องแก้โจทย์เอง

การเปลี่ยนแปลงนี้ส่งผลให้ตารางอันดับมีการขยับ โดย Codex พร้อม GPT-5.5 (xhigh) ทำคะแนนเพิ่มขึ้นจาก 65 เป็น 76 คะแนน แซงหน้า Claude Code พร้อม Opus 4.8 (max) ที่ได้ 73 คะแนน ขณะที่ Claude Code พร้อม Fable 5 (max) ยังครองอันดับหนึ่งด้วยคะแนน 77 อย่างไรก็ตาม ในแบบทดสอบที่มีปัญหาอย่าง SWE-Bench Pro นั้น Codex พร้อม GPT-5.5 ทำคะแนนได้เพียง 31 คะแนน ซึ่งต่างจากแบบทดสอบอื่นๆ ที่ทำได้สูงถึง 64-84 คะแนน