AI Agent 9 รุ่น สอบตกงานวิจัยอิสระ แม้ใช้โมเดลล่าสุดอย่าง GPT-6

Image description

เบนช์มาร์กใหม่ทดสอบ AI agent ด้วยโจทย์วิจัยปลายเปิดจากห้องปฏิบัติการแห่งชาติสหรัฐฯ พบว่าแม้เหล่าเอเจนท์จะส่งบทความวิจัยที่ดูสมจริง แต่บ่อยครั้งกลับเป็นการอ้างถึงขั้นตอนที่ไม่ได้เกิดขึ้นจริง

คำถามสำคัญคือ AI agent สามารถตอบโจทย์วิจัยที่ยังไม่มีใครแก้ได้โดยอิสระหรือไม่? ทีมวิจัยจาก Carnegie Mellon University ร่วมกับนักวิทยาศาสตร์จากห้องปฏิบัติการแห่งชาติ กระทรวงพลังงานสหรัฐฯ จึงได้พัฒนาเบนช์มาร์กชื่อ "Into the Unknown" เพื่อทดสอบขีดจำกัดนี้

จากข้อมูลใน paper ระบุว่าไม่มีผลงานใดจากทั้งหมด 135 รายการที่ส่งโดย AI agent ชั้นนำ 9 รุ่น สามารถทำตามข้อกำหนดได้ครบถ้วน ผู้เขียนมองว่าเบนช์มาร์กนี้เป็นสนามทดสอบเพื่อยกระดับ AI สำหรับงานวิจัยอย่างเป็นระบบ ไม่ใช่การตั้งคำถามเพื่อกีดกัน AI ออกจากวงการวิทยาศาสตร์

ผลงานถึง 114 รายการสอบตกตั้งแต่การตรวจสอบความถูกต้อง (integrity check) เนื่องจากมีการอ้างถึงงานที่ไม่ได้ทำจริงหรือระบุตัวเลขที่ขัดแย้งกับบันทึกการทำงาน (logs) ของตัวเอง แม้เอเจนท์จะผลิตเนื้อหาที่ดูเหมือนการศึกษาต่อยอดได้อย่างรวดเร็ว แต่กลับไม่มีชิ้นงานใดผ่านมาตรฐานระดับผู้เชี่ยวชาญได้เลย

Diagram showing a researcher figure who defines a follow-up direction to the LCHS algorithm along with success criteria. Next to it are set diagrams of possible follow-up work and two evaluation rubrics, one for research direction and one for integrity.

ผู้เชี่ยวชาญกำหนดเกณฑ์มาตรฐาน

ในการทดสอบ เอเจนท์แต่ละตัวจะได้รับบทความวิจัย โค้ด ข้อมูล และทิศทางการวิจัย เพื่อนำไปศึกษาต่อยอดและเขียนเป็นบทความใหม่ โจทย์ทั้ง 15 งานมาจากนักวิจัย 10 ท่าน ในสาขาการประมวลผลควอนตัม, ฟิสิกส์พลาสมา, เคมี, วัสดุศาสตร์ และ machine learning ทางวิทยาศาสตร์ ซึ่งล้วนเป็นหัวข้อใหม่ที่ยังไม่เคยมีการตีพิมพ์มาก่อน

A timeline of four publications on LCU and LCHS between 2012 and 2026 at the top, followed by the question "Can an AI agent extend this line?" Below it, a workspace containing a task description, the original paper, code, and data, from which an AI agent produces follow-up papers, code, and logs.

เนื่องจากการวิจัยปลายเปิดไม่มีเฉลยที่ตายตัว และ AI reviewer ก็ยังไม่น่าเชื่อถือพอ ผู้เชี่ยวชาญจึงต้องกำหนดเงื่อนไขขั้นต่ำสำหรับงานวิจัยที่ประสบความสำเร็จ การประเมินจะครอบคลุมทั้งความซื่อสัตย์ ความสมบูรณ์ และเกณฑ์เฉพาะทาง โดยใช้ GPT-6 Astra เป็นผู้ให้คะแนนและตัดสินผลงานแต่ละรายการสี่ครั้ง

เอเจนท์ที่เข้าร่วมทดสอบประกอบด้วย Claude Opus 4.8, Claude Opus 5, Claude Fable 5, Claude Opus 5.5, GPT-5.6 Sol, GPT-6 Astra, Deepseek V4 Pro, Kimi K3 และ GLM-5.3 ทั้งหมดได้รับสิทธิ์เข้าถึงเครื่องประมวลผลประสิทธิภาพสูง อินเทอร์เน็ต และไม่จำกัดเวลา โดยใช้เวลาทำงานรวมกันไปเกือบ 2,000 ชั่วโมง

มีเพียง agent 3 รายเท่านั้นที่ผลิตงานอย่างซื่อสัตย์

มีเพียงเอเจนท์ 3 รายที่ส่งงานโดยไม่ละเมิดเกณฑ์ความถูกต้อง (integrity violations) ได้แก่ GPT-6 Astra ทำได้ 11 จาก 15 งาน, GPT-5.6 Sol ทำได้ 6 งาน และ Claude Opus 5.5 ทำได้ 4 งาน ส่วนอีก 6 รายที่เหลือพบการละเมิดในทุกผลงานที่ส่ง

ปัญหาที่พบบ่อยคือความไม่สอดคล้องกันระหว่างบทความกับโค้ด ตัวเลขขัดแย้งกัน และการกุเรื่องการทดลอง โดยเฉพาะโมเดลแบบ open อย่าง Deepseek V4 Pro, Kimi K3 และ GLM-5.3 มักรายงานค่า baseline ผิดพลาด หรือแม้แต่ใช้การระบุผลลัพธ์แบบตายตัว (hardcoded) แทนการคำนวณจริง

Results table from the "Into the Unknown" benchmark for nine models ranging from Claude Opus 4.8 to GLM-5.3. It shows pass rates at the individual checkpoint level as well as loose and strict paper-level scoring. In the column for all criteria combined, every model scores 0.00 percent.

ในด้านความสมบูรณ์ มีเพียง GPT-6 Astra เท่านั้นที่ส่งงานได้ครบถ้วน ขณะที่รายอื่นมักขาดเอกสารสำคัญ เช่น แผนการทดลองล่วงหน้า หากใช้เกณฑ์การตัดสินที่ยืดหยุ่นขึ้น (ยอมรับที่ 90 เปอร์เซ็นต์) GPT-6 Astra จะทำคะแนนได้ดีที่สุด ตามมาด้วย Claude Opus 5.5 และ GPT-5.6 Sol

Two heatmaps showing how often submissions from nine models fail specific integrity and direction criteria, such as contradictory numbers, mismatches between paper and code, or missing documentation.

สคริปต์ตรวจสอบยืนยันตัวเองผิดๆ

นักวิจัยพบรูปแบบความล้มเหลว 3 แบบหลักจากการวิเคราะห์ร่องรอยการทำงาน (work traces) คือ เอเจนท์ตรวจสอบงานตัวเองอย่างหละหลวม, พบปัญหาแต่ไม่แก้ไข และการลดขอบเขตงานเองโดยพลการ

ตัวอย่างเช่น Claude Fable 5 ลืมรันการทดลอง 4 รอบ แต่สคริปต์ตรวจสอบกลับรายงานว่าเสร็จสิ้น "41/41" ทำให้เอเจนท์เชื่อมั่นในผลลัพธ์ที่ผิดพลาดนั้นไปจนจบ ขณะที่ DeepSeek V4 Pro เลือกยกเลิกการทดลองโดยอ้างว่าเวลาไม่พอ ทั้งที่ความจริงไม่มีการจำกัดเวลา อย่างไรก็ตาม ยังมีเคสที่ดีเช่น GPT-5.6 Sol ที่ตรวจพบข้อผิดพลาดพื้นฐานและสั่งหยุดเพื่อคำนวณใหม่ทั้งหมด

Two work logs side by side. On the left, Claude Fable 5 checks its experiments and reports 41 out of 41 runs as completed. On the right, GPT-5.6 Sol recognizes that its method misses the goals but keeps writing anyway. Both passages are highlighted in red as errors.

เวลาประมวลผลที่มากขึ้นไม่ได้ช่วยอะไร

ระยะเวลาทำงานที่นานขึ้นไม่ได้รับประกันผลลัพธ์ที่ดี DeepSeek V4 Pro และ GLM-5.3 ใช้เวลาเฉลี่ยสูงถึง 13-19 ชั่วโมงแต่ได้คะแนนต่ำ ในขณะที่ GPT-6 Astra ใช้เวลาเฉลี่ยเพียง 1.3 ชั่วโมงแต่กลับให้ผลลัพธ์ดีที่สุด

Zwei Streudiagramme mit logarithmischer Achse zeigen pro Modell die Zahl der Arbeitsschritte und die Laufzeit in Stunden. DeepSeek V4 Pro braucht im Median 19,5 Stunden, GPT-6 Astra 1,3 Stunden.

เพื่อความแม่นยำ นักวิจัยได้ทำการตรวจสอบซ้ำ (cross-check) โดยให้มนุษย์เจ้าของงานวิจัยต้นฉบับตัดสินบทความ AI แบบไม่ระบุชื่อ ซึ่งผลประเมินทิศทางการวิจัยนั้นสอดคล้องกับระบบอัตโนมัติในทุกกรณี แต่ในแง่คุณภาพทางวิทยาศาสตร์ ผู้เชี่ยวชาญวิจารณ์ว่าบทความ AI ยังขาดการร้อยเรียงเรื่องราว (storytelling) ซึ่งเป็นทักษะที่มนุษย์ยังทำได้ดีกว่า

ผู้ที่สนใจสามารถเข้าถึง code และ data ของการศึกษานี้ได้ทันที รวมถึงดู ตารางอันดับของโมเดลที่ได้รับการทดสอบ ได้บนหน้าเว็บโครงการ

แม้ AI agent จะเริ่มจัดการงานวิทยาศาสตร์ได้ด้วยตัวเองมากขึ้น แต่ยังมีช่องว่างขนาดใหญ่ระหว่างการทำตามคำสั่งกับการทำวิจัยอิสระ การศึกษาเมื่อเดือนสิงหาคม และข้อมูลจาก Epoch AI และ Anthropic ต่างยืนยันว่าเอเจนท์มักนำเสนอผลลัพธ์ที่ดูดีเกินจริงและไม่ตรวจสอบวิธีการที่ล้มเหลวอย่างถี่ถ้วนพอ

อย่างไรก็ตาม สำหรับงานที่มีขอบเขตชัดเจน AI ยังทำผลงานได้น่าประทับใจ เช่น GPT-6 Astra สามารถแก้โจทย์ฟิสิกส์ทฤษฎีที่ไม่เคยตีพิมพ์ได้ถึง 49 จาก 50 ข้อ แต่ในภาพรวมของ การพัฒนาโมเดล AI มนุษย์ยังคงเป็นผู้ตัดสินใจหลักในขั้นตอนการวิจัยที่สำคัญเสมอ

ผู้เชี่ยวชาญกำหนดเกณฑ์มาตรฐาน

มีเพียง agent 3 รายเท่านั้นที่ผลิตงานอย่างซื่อสัตย์

สคริปต์ตรวจสอบยืนยันตัวเองผิดๆ

เวลาประมวลผลที่มากขึ้นไม่ได้ช่วยอะไร

ความคิดเห็น (0)