Baidu เปิดตัว ERNIE Evolve ระบบวิจัยอัตโนมัติ ทำลายสถิติโลก AI

Baidu เพิ่งเปิดตัว ERNIE Evolve ระบบวิจัยอัตโนมัติที่ออกแบบมาเพื่อเพิ่มประสิทธิภาพโค้ดการฝึกฝนและการทำ inference ของ AI โดยเฉพาะ เมื่อระบบได้รับข้อมูล repository เป้าหมาย และเกณฑ์วัดผล มันจะทำหน้าที่เลือกทิศทางการวิจัย แก้ไขโค้ด และรันการทดลองเองทั้งหมด

จุดเด่นของระบบนี้คือจะเก็บเฉพาะการเปลี่ยนแปลงที่ผ่านการตรวจสอบจากตัวประเมินที่ถูกซ่อนไว้ (hidden evaluator) และผู้ตรวจสอบแยกต่างหาก (reviewer) เท่านั้น ทีม Baidu ได้ทดสอบระบบกับเกณฑ์มาตรฐานสาธารณะ 3 รายการ และนำไปปรับปรุงประสิทธิภาพการ inference ให้กับ ERNIE-5.5-Flash ที่กำลังอยู่ระหว่างการพัฒนา

TL;DR

• ขนาด: เป็นระบบ agent โดย Baidu ไม่ได้เปิดเผยว่าใช้ LLM รุ่นใดขับเคลื่อน
• สภาพแวดล้อมการทำงาน: ใช้ NVIDIA B200 1 ตัว สำหรับเกณฑ์มาตรฐาน NanoChat และ SOL-ExecBench ส่วน Speedrun Track 1 ใช้ 8×H100 สำหรับการทดสอบจริงรันบน Kunlunxin P800 และ GPU รุ่นที่ไม่เปิดเผย
• ประสิทธิภาพ: ชนะสถิติสาธารณะที่ดีที่สุดใน 3 จาก 4 ตัวชี้วัด และผ่านการใช้งานจริงใน ERNIE-5.5-Flash
• ผลลัพธ์สูงสุด: ความเร็วในการสร้าง (Generation speed) บน Kunlunxin P800 พุ่งสูงถึง 623.6% จากค่าพื้นฐานหลังการวิจัย 4 รอบ
• ผลลัพธ์ต่ำสุด: SOL-ExecBench ทำค่าเฉลี่ยได้ 0.819 ตามหลังอันดับหนึ่งในตารางที่ 0.827
• สรุปผลงานจริง: เพิ่ม throughput แบบคงที่ได้ +33.7% และความเร็วการถอดรหัส (decode speed) +14.9%
• ข้อจำกัด: ข้อมูลเป็นการรายงานโดยผู้พัฒนาเอง ยังไม่มีการปล่อยระบบออกมาสู่สาธารณะ และส่วนต่างในเกณฑ์มาตรฐานบางตัวยังน้อยอยู่

ERNIE Evolve คืออะไร?

ERNIE Evolve คือระบบวิจัยอัตโนมัติที่มุ่งปรับปรุงโค้ดตามเป้าหมายที่วัดผลได้จริง ซึ่ง Baidu ประกาศเรื่องนี้บน X ว่าเป็นก้าวสำคัญสู่การปรับปรุงตนเองแบบเรียกซ้ำ (recursive self-improvement หรือ RSI) ซึ่งเป็นกระบวนการที่ AI เข้ามาช่วยพัฒนาซอฟต์แวร์ที่ใช้สร้างและให้บริการตัวมันเอง

ERNIE Evolve ทำงานอย่างไร?

ระบบทำงานด้วยลูปซ้อนกัน 2 ชั้น โดยลูปนอกทำหน้าที่ตัดสินใจประเด็นการตรวจสอบ และลูปในทำหน้าที่พัฒนาและทดสอบการปรับปรุงในแต่ละทิศทาง ประกอบด้วย 5 องค์ประกอบหลัก:

• Director: เลือกทิศทางการวิจัยและเวอร์ชันโค้ดเริ่มต้น โดยวิเคราะห์จากประสบการณ์ในอดีตและฐานความรู้จากเอกสารวิชาการ
• Selector: เลือกตัวเลือกจากโครงสร้างต้นไม้ของการวิจัยเพื่อตั้งสมมติฐานถัดไป
• Executor: ดำเนินการตามแผนในสภาพแวดล้อมที่แยกส่วนไว้
• Evaluator: โปรแกรมประเมินที่ถูกเก็บไว้ภายนอก ป้องกันไม่ให้ agent มองเห็น เพื่อให้มั่นใจว่าผลลัพธ์ที่ได้นั้นคุ้มค่ากว่าสัญญาณรบกวน (noise threshold)
• Reviewer: ตรวจสอบว่าการเปลี่ยนแปลงเป็นไปตามเป้าหมาย ไม่ใช่การใช้ช่องโหว่ของการประเมิน (evaluation loophole)

ระบบจะรันการวิจัยหลายเลนไปพร้อมกัน โดยบันทึกการทดลองที่ล้มเหลวไว้เพื่อป้องกันไม่ให้เกิดการทำงานซ้ำซ้อนในรอบถัดไป

ผลคะแนนบนเกณฑ์มาตรฐานสาธารณะ

Baidu ได้ทดสอบ ERNIE Evolve กับเกณฑ์มาตรฐานระดับโลกหลายรายการ ได้แก่ NanoChat AutoResearch, NanoGPT Speedrun และ SOL-ExecBench

• NanoChat AutoResearch: ทำค่า validation BPB ได้ 0.8763 ภายใต้งบ GPU 5 นาที โดยมีการเพิ่ม n-gram และ document-retrieval เข้ามาช่วย
• NanoGPT Speedrun Track 1: ใช้เวลาเพียง 38.9 วินาทีเพื่อบรรลุเป้าหมายบน 8×H100 ทำลายสถิติเดิมที่ 39.9 วินาที โดยใน results repo บันทึกค่าเฉลี่ยจากการรัน 18 ครั้งไว้ที่ 38.92 วินาที
• NanoGPT Speedrun Track 3: ใช้เพียง 2,590 ขั้นตอน ชนะสถิติเดิมที่ 2,690 ขั้นตอน ด้วยเทคนิคแยก weight และเพิ่ม EMA-Nesterov extrapolation
• SOL-ExecBench: ทำค่าเฉลี่ย SOL ได้ 0.819 จากปัญหา 235 รายการบน B200 ซึ่งยังเป็นรองแชมป์ปัจจุบันที่ทำไว้ 0.827

ตารางเปรียบเทียบ ERNIE Evolve กับระบบวิจัยอัตโนมัติอื่นๆ

การเพิ่มประสิทธิภาพให้กับ ERNIE-5.5-Flash

ทีม Baidu นำระบบไปใช้กับงานวิศวกรรมจริงใน ERNIE-5.5-Flash และพบว่าสามารถพัฒนาต่อยอดจากสิ่งที่วิศวกรเคยปรับแต่งไว้ได้อีกมาก:

• ชิป Kunlunxin P800: เพิ่มความเร็วการสร้างได้ถึง 623.6% ภายใน 4 รอบการวิจัย โดยเน้นไปที่การลด overhead และปรับการ dispatch เส้นทางความหน่วงต่ำ
• Inference แบบคงที่สำหรับ RL: เพิ่ม throughput ได้ 33.7% ภายใน 3 วัน ช่วยลดเวลาสู่ token แรก (TTFT) ลงได้ 12% โดยการใช้ Triton kernel ช่วยให้ประสิทธิภาพเพิ่มขึ้นอย่างเห็นได้ชัด
• Decoding บน GPU: เร่งความเร็วขึ้น 14.9% โดยคงความแม่นยำเท่าเดิม ผ่านการปรับคำสั่ง FP16 สำหรับงาน matmuls ขนาดเล็กและปรับตารางเวลาของ MoE

ประเด็นสำคัญ

ERNIE Evolve แสดงให้เห็นถึงศักยภาพของระบบลูปซ้อนกันที่ใช้ Director และการสร้างโครงสร้างต้นไม้ของโค้ด พร้อมทั้งมีระบบป้องกัน reward hacking ที่รัดกุม แม้ปัจจุบันจะยังคงเป็นระบบปิดที่เปิดเผยเพียงบันทึกผลลัพธ์บน GitHub แต่ความสำเร็จในการทำลายสถิติ NanoChat และการเพิ่มความเร็วให้ ERNIE-5.5-Flash กว่า 6 เท่า ก็เป็นสิ่งที่น่าจับตามองอย่างยิ่ง