เปิดตัว Science One Framework: ยกระดับงานวิจัย AI ให้ตรวจสอบได้ด้วยระบบ Chain-of-Evidence

โมเดลภาษาขนาดใหญ่ (LLMs) กำลังก้าวข้ามบทบาทผู้ช่วยเขียนโค้ดสู่การเป็นเอนจินวิจัยอัตโนมัติเต็มรูปแบบ โดยระบบรุ่นใหม่ เช่น AI-Scientist ของ Sakana หรือ DeepScientist สามารถทำได้ตั้งแต่ทบทวนวรรณกรรมไปจนถึงเขียนต้นฉบับงานวิจัยที่สมบูรณ์ใกล้เคียงกับมนุษย์

อย่างไรก็ตาม แม้ภาพความสวยงามของตัวบทความจะดูดีขึ้น แต่ประเด็นวิกฤตที่ตามมาคือ "ความสามารถในการตรวจสอบได้" (verifiability) เนื่องจากระบบปัจจุบันมักพบปัญหา การหลอนเอกสารอ้างอิง, ความ ไม่สอดคล้องกัน ระหว่างคำอธิบายกับโค้ดที่รันจริง และรายงานผลการทดลองที่ ไม่สามารถทำซ้ำได้ จากโค้ดที่ให้มา

ใน งานวิจัย ล่าสุด ทีมงานได้นำเสนอทางออกผ่าน Chain-of-Evidence (CoE) ซึ่งเป็นเฟรมเวิร์กใหม่สำหรับการวิจัยด้วย AI โดยประกอบด้วย Science One Framework ต้นแบบระบบวิจัยที่สร้างห่วงโซ่หลักฐานตั้งแต่เริ่มต้น และ CoE Audit ชุดเครื่องมือวัดผลความสมบูรณ์ของบทความเทียบกับหลักฐานพื้นฐาน ผลการทดสอบพบว่า Science One สามารถกำจัดการอ้างอิงที่ไม่มีอยู่จริงได้ 100% ขณะที่ระบบเดิมมีอัตราการหลอนข้อมูลสูงถึง 21%

Chain-of-Evidence: เฟรมเวิร์กสำหรับการวิจัยที่ตรวจสอบได้

CoE คือมาตรฐานที่กำหนดความน่าเชื่อถือของผลงานวิจัย เช่นเดียวกับหลักการ ACID ในระบบฐานข้อมูล โดยยึดหลักสำคัญ 2 ประการคือ ทุกข้อกล่าวอ้างต้องมีห่วงโซ่หลักฐานบันทึกไว้ (ความครบถ้วน) และทุกห่วงโซ่ต้องสนับสนุนข้อกล่าวอ้างนั้นจริง (ความถูกต้อง)

ไม่ว่าจะเป็นตัวเลขสถิติ การอธิบายวิธีวิจัย หรือข้อสรุป จะต้องเชื่อมโยงกลับไปยังหลักฐานต้นบริบทได้เสมอ เช่น บันทึกการทดลอง (log) หรือโค้ดที่รันจริง เพื่อป้องกันปัญหาคะแนนที่ทำซ้ำไม่ได้หรือการอธิบายอัลกอริทึมผิดเพี้ยน ซึ่งระบบ CoE Audit จะทำหน้าที่ตรวจจับจุดที่ห่วงโซ่ข้อมูลขาดออกจากกัน

Science One Framework

การวิจัยที่ตรวจสอบได้ไม่จำเป็นต้องด้อยประสิทธิภาพ โดย Science One Framework ถูกออกแบบมาให้วางรากฐานข้อมูลผ่าน 3 โมดูลหลัก:

• ผู้ตรวจสอบปัญหา (Problem Investigator): ป้องกันการหลอนข้อมูลโดยการดึง PDF ฉบับเต็มมาวิเคราะห์ผ่าน Semantic Scholar API สูงสุด 100 ฉบับ เพื่อสร้างสรุปงานวิจัยที่มีฐานข้อมูลรองรับจริง แทนการพึ่งพาหน่วยความจำของโมเดลเพียงอย่างเดียว
• เอนจินการค้นพบ (Discovery Engine): สำรวจไอเดียผ่านหลายสาขาขนานกัน โดยมีเอเยนต์ Solver และตัวประเมินเฉพาะงานตรวจสอบผลลัพธ์อย่างมีระบบ พร้อมบันทึกผลดิบแบบอ่านได้อย่างเดียว (read-only)
• ผู้เขียนบทความและผู้ตรวจยืนยันข้อกล่าวอ้าง: ก่อนส่งงาน ระบบจะสร้าง Claim Verifier ขึ้นมาตรวจสอบว่าทุกข้อความในบทความตรงกับหลักฐานในพื้นที่ทำงานจริง หากพบข้อมูลที่เกินจริง ระบบจะปรับจูนคำพูดให้ระมัดระวังมากขึ้นเพื่อให้สอดคล้องกับผลการทดลอง

ไปป์ไลน์ของ Science One Framework ตั้งแต่การวางรากฐานวรรณกรรม การสำรวจโซลูชัน ไปจนถึงการเขียนและตรวจสอบบทความผ่าน Claim Verifier

CoE Audit: มาตรฐานการวัดผลใหม่ เพื่อเทียบชั้นกับระบบชั้นนำ เช่น AI Scientist v2 ของ Sakana AI ทีมวิจัยได้พัฒนา CoE Audit ซึ่งเปรียบเสมือนผู้ตรวจสอบหลักฐานอัตโนมัติ โดยมีการตรวจสอบเข้มงวด 4 ด้าน ได้แก่ การยืนยันคะแนนผ่านการรันโค้ดซ้ำ, การตรวจจับทริกการโกงคำตอบของตัวประเมิน, การยืนยันความมีอยู่จริงของเอกสารอ้างอิงผ่าน API และการตรวจสอบความสอดคล้องระหว่างคำบรรยายวิธีวิจัยกับคุณภาพของโค้ดจริง

ภาพรวมของเฟรมเวิร์ก CoE Audit และขั้นตอนการตรวจสอบความสมบูรณ์หลัก 4 ประการ

ผลลัพธ์การทดสอบ

จากการทดสอบกับบทความ 75 ฉบับในเบนช์มาร์ก Automated Design of Research Systems (ADRS) พบว่า Science One Framework ทำคะแนนได้โดดเด่นที่สุด โดยเฉพาะการกำจัดการอ้างอิงแบบเลื่อนลอย (phantom references) ได้ราบคาบ ขณะที่ระบบอื่นอธิบายอัลกอริทึมที่ซับซ้อนแต่เบื้องหลังเป็นเพียงเงื่อนไขง่ายๆ (deterministic heuristic)

ผลลัพธ์ของ CoE Audit จาก 5 ระบบ

นอกจากความเข้มงวดในการตรวจสอบ Science One ยังแสดงศักยภาพระดับเทพในการแก้ปัญหายากๆ โดยมีประสิทธิภาพเทียบเท่าหรือเหนือกว่ามนุษย์ในงาน ADRS ทั้ง 5 งาน และสามารถคว้าเหรียญทองในการแข่งขัน Kaggle จากเบนช์มาร์ก MLE-Bench รวมถึงแก้โจทย์ Parameter-Golf ของ OpenAI ได้สำเร็จในขณะที่ระบบอื่นล้มเหลว

การเปรียบเทียบประสิทธิภาพใน MLE-Bench และ Parameter Golf

บทสรุปในอนาคต

เมื่อ AI เข้ามามีบทบาทในวงการวิทยาศาสตร์มากขึ้น ความสำเร็จจะไม่ถูกวัดแค่ที่ผลลัพธ์ แต่จะวัดที่ความน่าเชื่อถือ Science One Framework พิสูจน์ให้เห็นว่าความสามารถในการตรวจสอบได้ควรถูกกำหนดให้เป็นโครงสร้างพื้นฐานมาแต่ต้น เพื่อนำไปสู่การสร้าง "นักวิทยาศาสตร์ AI" รุ่นต่อไปที่ทั้งเก่งและน่าเชื่อถืออย่างแท้จริง

กิตติกรรมประกาศ

ขอขอบคุณทีมวิจัยจากหลายภาคส่วนที่ร่วมสร้างสรรค์ผลงานชิ้นนี้ รวมถึงคณะผู้เชี่ยวชาญที่มีส่วนร่วมในการวิจัย

ข้อสงวนสิทธิ์

Science One Framework ยังคงเป็นเพียงต้นแบบเพื่อการวิจัยเชิงทดลองและยังไม่พร้อมสำหรับการใช้งานเชิงพาณิชย์