Google AI เปิดตัว EnvHarness เปลี่ยนเบนช์มาร์ก Agent แบบ Static ให้เป็นโลกการฝึกฝนที่ปรับตัวได้

ทีมวิจัยจาก Google Cloud AI Research ร่วมกับ Washington University ใน St. Louis และ UNC Chapel Hill ได้เปิดตัว EnvHarness ซึ่งเป็นเลเยอร์ที่ตั้งโปรแกรมได้เพื่อเปลี่ยนเบนช์มาร์ก agent แบบ static ให้กลายเป็นสิ่งที่ปรับตัวตามการฝึกนโยบาย (policy training) ได้ ในปัจจุบัน LLM agent เริ่มเปลี่ยนจากการเรียนรู้ผ่านข้อความมาเป็นการโต้ตอบกับสภาพแวดล้อมมากขึ้น แต่สภาพแวดล้อมเหล่านั้นมักถูกสร้างขึ้นด้วยมือและมีลักษณะคงที่ (frozen) ซึ่งจะแสดงผลเหมือนเดิมเสมอไม่ว่า agent จะพัฒนาไปเพียงใดก็ตาม โดยปกติแล้ว วิธีแก้ปัญหาคือการสร้างสภาพแวดล้อมใหม่ขึ้นมา แต่วิธีนี้มักทำให้เกิดข้อจำกัดเฉพาะโดเมนและต้องใช้ตัวตรวจสอบ (verifiers) ที่สร้างจาก LLM ซึ่งอาจไม่น่าเชื่อถือเพียงพอ EnvHarness จึงใช้วิธีที่แตกต่างออกไป ด้วยการหุ้มสภาพแวดล้อมเดิมด้วยองค์ประกอบปลั๊กอินผ่านอินเทอร์เฟซมาตรฐานอย่าง reset() และ step() เพื่อเปลี่ยนจุดเริ่มต้นและสิ่งที่ agent มองเห็น โดยที่ตัวจำลอง (simulator) และตัวตรวจสอบฝีมือมนุษย์ยังคงเดิมไม่เปลี่ยนแปลง

กระบวนการนี้ทำงานร่วมกับ EnvRigger ซึ่งเป็นผู้ออกแบบที่ใช้ LLM ในการเขียนตัวหุ้ม (wrappers) โดยอัตโนมัติตามจุดบกพร่องที่ตรวจพบจากการรันนโยบายจริง จากการทดสอบใน 5 เบนช์มาร์ก พบว่าทักษะที่ได้มีคะแนนเพิ่มขึ้นถึง 9.0 จุดในงานที่ไม่เคยเห็นมาก่อน (held-out tasks) และสามารถลดขั้นตอนการทำงานลงได้ 9.8% ซึ่งถือเป็นการยกระดับประสิทธิภาพของ agent อย่างมีนัยสำคัญ

มันสามารถนำไปใช้งานได้จริงหรือไม่?

คำตอบคือ ใช่ หากคุณมีการรันลูปการประเมิน agent อยู่แล้ว โดย EnvHarness ถูกปล่อยออกมาในรูปแบบ Python ภายใต้ลิขสิทธิ์ Apache-2.0 พร้อมไดรเวอร์จำลองสำหรับ 6 สภาพแวดล้อม ผู้ใช้สามารถนำเบนช์มาร์กใหม่มาปรับใช้ได้ทันทีผ่านอินเทอร์เฟซมาตรฐาน เช่น reset / step / observe / evaluate / get_env_state / save_state / from_state โดยไม่ต้องเปลี่ยนส่วนปลายน้ำ อย่างไรก็ตาม ข้อกำหนดสำคัญคือสภาพแวดล้อมต้องสามารถรีเซ็ตได้ (resettable) จึงยังไม่สามารถใช้กับบัญชีผู้ใช้จริงหรือหุ่นยนต์ทางกายภาพได้

สภาพแวดล้อมที่หยุดการสอน

เมื่อ LLM agent พัฒนาขึ้น การเรียนรู้จากข้อความเพียงอย่างเดียวเริ่มไม่เพียงพอ สภาพแวดล้อมแบบตอบโต้จึงมีความสำคัญ แต่ถ้าสภาพแวดล้อมเหล่านั้นหยุดนิ่งและแสดงผลเหมือนเดิมทุกครั้ง พวกมันก็จะไม่สามารถระบุจุดอ่อนของนโยบายหรือสอนสิ่งใหม่ๆ ให้กับ agent ที่แก้โจทย์เดิมได้แล้ว

งานวิจัย EnvHarness ระบุว่าการสร้างสภาพแวดล้อมใหม่มีต้นทุนที่สูง ทั้งในแง่ของกระบวนการผลิตที่เป็นแบบเฉพาะเจาะจงและไม่สามารถนำไปใช้ต่อได้ รวมถึงตัวตรวจสอบที่เขียนโดย LLM มักต้องการการคัดกรองอย่างหนักและยังไม่สามารถไว้วางใจได้เต็มร้อยเปอร์เซ็นต์

การหุ้ม ไม่ใช่การสร้างใหม่

ทีมวิจัยนำเสนอแนวคิดการใช้ตัวประคอง (agent harness) เพื่อเพิ่มความสามารถให้ LLM ผ่านเครื่องมือปลั๊กอินและหน่วยความจำ โดย EnvHarness จะหุ้มสภาพแวดล้อมเดิมไว้ผ่านการแปลงค่า E' = w(E) ที่กำหนดเงื่อนไขสถานะ (state), การกระทำ (action), และการสังเกต (observation) ใหม่ แต่จะเว้นเงื่อนไขผลตอบแทน (reward) ไว้เพื่อให้ยังสามารถใช้ตัวตรวจสอบเดิมที่มนุษย์สร้างขึ้นได้ ซึ่งช่วยให้การนำไปใช้งานเพียงครั้งเดียวครอบคลุมได้ทุกโดเมน

ปัจจุบันมีการเปิดตัว 3 องค์ประกอบหลักที่สามารถทำงานร่วมกันได้อย่างอิสระ:

• Stage: เล่นซ้ำการกระทำหลังจาก reset() เพื่อเริ่มตอนในจุดที่ต่างออกไป เช่น การซ่อนของไว้ในลิ้นชักเพื่อบังคับให้ agent ต้องค้นหา
• Contract: ติดตั้ง hooks เพื่อควบคุมการกระทำและการสังเกต เช่น การบล็อกบางการกระทำหรือเขียนการตอบสนองใหม่
• Chain: รวมสภาพแวดล้อมสองแห่งเข้าด้วยกันภายใต้งบประมาณขั้นตอน (step budget) เดียวกัน โดยใช้ตัวตรวจสอบร่วมกัน

EnvRigger: ลูปของผู้ออกแบบ

EnvRigger จะมองนโยบายเป็นกล่องดำและดำเนินงาน 4 ขั้นตอน ได้แก่ การสังเกตการรันพื้นฐาน, วินิจฉัยจุดบกพร่อง, เขียนองค์ประกอบเป็น Python และตรวจสอบผลลัพธ์ โดยจะมีการปรับปรุงแก้ไขสูงสุด 5 รอบต่องานเพื่อให้ได้องค์ประกอบที่เหมาะสมที่สุด Hooks ที่สร้างขึ้นจะถูกประมวลผลแยกกัน เพื่อป้องกันไม่ให้ความผิดพลาดในการสร้างโค้ดส่งผลกระทบต่อระบบหลัก

ประสิทธิภาพ

จากการทดสอบใน ALFWorld, WebArena, SWE-bench Verified, OfficeQA และ SpreadsheetBench พบว่าทักษะที่ดึงออกมาด้วยวิธีนี้ให้ผลลัพธ์ดีกว่ากลุ่มควบคุมอย่างเห็นได้ชัด

ใน ALFWorld คะแนนเพิ่มขึ้นเป็น 68.3 โดยมีผลงานดีขึ้น +9.0 จุด ในกลุ่มข้อมูลนอกเหนือจากการฝึก (out-of-distribution) ส่วน SWE-bench Verified มีอัตราการแก้ปัญหาเพิ่มเป็น 52.58% และลดจำนวนขั้นตอนเฉลี่ยลง ทำให้ภาพรวม มีประสิทธิภาพเพิ่มขึ้น 9.8% นอกจากนี้ เมื่อทดสอบกับการเรียนรู้แบบเสริมกำลัง (Reinforcement Learning) ภายใต้ GRPO บน Qwen3-8B-base สภาพแวดล้อมที่ปรับแต่งใหม่ยังให้ผลลัพธ์ชนะสภาพแวดล้อมเดิมในเกือบทุกตัวชี้วัด

ประเด็นสำคัญ

• EnvHarness ใช้วิธีหุ้มสภาพแวดล้อมเดิมผ่าน reset() / step() ทำให้ยังคงความแม่นยำของตัวตรวจสอบที่มนุษย์สร้างขึ้น
• มีองค์ประกอบหลัก 3 อย่างคือ Stage, Contract และ Chain สำหรับควบคุมสถานะเริ่มต้น กฎการโต้ตอบ และการเชื่อมต่อตอนเข้าด้วยกัน
• EnvRigger ช่วยวินิจฉัยจุดอ่อนของนโยบายและเขียนตัวหุ้มที่ตรงเป้าหมายให้อัตโนมัติ
• ผลการทดสอบยืนยันประสิทธิภาพที่เพิ่มขึ้นใน 5 เบนช์มาร์กหลัก
• ซอร์สโค้ดแบบ Apache-2.0 เปิดให้ใช้งานแล้ว โดยต้องใช้ร่วมกับสภาพแวดล้อมที่สามารถรีเซ็ตค่าได้