Google เปิดตัว Harness2 โอเพนซอร์สเฟรมเวิร์กช่วยอัปเกรด Agent

Google Cloud AI Research เปิดตัวโอเพนซอร์ส Harness² ซึ่งเป็น recursive agent harnessing framework ที่ช่วยปรับปรุงโค้ดและไฟล์ต่างๆ รอบโมเดลที่ถูกแช่แข็ง (frozen model) ไว้ สำหรับนักพัฒนาแล้ว จุดขายสำคัญคือ AI Agent ของคุณจะเก่งขึ้นได้โดยไม่จำเป็นต้องเปลี่ยนไปใช้โมเดลที่ใหญ่กว่าเดิม

TL;DR

• ขนาด: เป็นเฟรมเวิร์ก ไม่ใช่โมเดล มีพารามิเตอร์ที่ถูกฝึก 0 ตัว; มีส่วนประกอบ harness ที่แก้ไขได้ 8 ส่วน เวอร์ชัน 0.1.0
• การใช้งาน: รองรับ Linux พร้อม Python 3.12 หรือ 3.13 และ uv โดยการรันโมเดลจะเรียกใช้ผ่าน Vertex AI ส่วนข้อกำหนด GPU ไม่มีการเปิดเผย
• ประสิทธิภาพ: การปรับปรุงเพียง 1 ขั้นตอนช่วยเพิ่มประสิทธิภาพให้กับโมเดลทั้ง 4 รูปแบบใน 3 benchmark หลัก
• ผลลัพธ์โดดเด่น: GLM-5 ภายใต้ OpenCode มีคะแนนเพิ่มขึ้นจาก 64.2 เป็น 75.7 บน WorkBuddy-Bench (+11.5 คะแนน)
• ผลลัพธ์ต่ำสุด: GLM-5 ภายใต้ Codex เพิ่มขึ้นเพียง 1.2 คะแนนบน JobBench (จาก 23.6 เป็น 24.8)

Harness² คืออะไร?

Harness² คือเฟรมเวิร์กแบบ plug-and-play จาก Google Research ที่ช่วยเพิ่มประสิทธิภาพให้กับระบบแวดล้อมของ Agent หรือที่เรียกว่า "harness" ในระหว่างการใช้งานจริง โดย harness ครอบคลุมตั้งแต่ prompts, tools, memory, skills และ orchestration ซึ่งกระบวนการ Harnessing นี้จะพัฒนาตัวระบบให้ดีขึ้นโดยที่น้ำหนักของโมเดลไม่มีการเปลี่ยนแปลง

เป้าหมายหลักคือการทำงานในสภาพแวดล้อมแบบเปิด (open world) ที่ต้องรับมือกับงานใหม่ๆ ซึ่งไม่เคยพบมาก่อนและไม่มีผู้ตรวจสอบคอยเฉลยคำตอบ ทีมวิจัย ระบุว่าวิธีการพัฒนาตัวเองส่วนใหญ่มักต้องพึ่งพา label หรือกรณีทดสอบ แต่ Harness² ถูกออกแบบมาให้ทำงานได้โดยไม่ต้องมีสิ่งเหล่านั้น

ส่วนประกอบ harness ทั้ง 8 อย่างมีอะไรบ้าง?

Harness² เปิดให้แก้ไขส่วนประกอบ 8 อย่าง ซึ่งแต่ละอย่างจะถูกแยกเป็นไฟล์ประกอบด้วย:

• System prompt
• Guardrails
• Memory
• Tool guidance
• Subagents
• Skills
• Scripts
• Plugins (middleware)

ส่วนประกอบเหล่านี้ครอบคลุมทั้งการสร้างบริบท อินเทอร์เฟซเครื่องมือ การมอบหมายงาน และพฤติกรรมในวงจรการใช้เครื่องมือ โดยต่อยอดมาจากโครงสร้างเดิมในงานวิจัย Agentic Harness Engineering ที่เคยมี 7 ส่วนประกอบ

การทำงานของ recursive agent harnessing เป็นอย่างไร?

เฟรมเวิร์กนี้ทำงานผ่านการวนซ้ำ (recursion) สองระดับที่เชื่อมโยงกัน:

การวนซ้ำระดับงาน (Task-level recursion) ใช้กระบวนการ Propose, Probe, Compose โดยเริ่มจาก Agent รันงานด้วย harness พื้นฐาน จากนั้นระบบ Editor จะเสนอทางเลือก 2 แบบ คือ invariant candidate ที่มุ่งแก้ความล้มเหลวทั่วไป และ domain candidate ที่เน้นความรู้เฉพาะทาง ตัว Composer จะเปรียบเทียบและเลือกเก็บเฉพาะการแก้ไขที่เห็นผลจริงจากพฤติกรรมที่สังเกตได้เท่านั้น

การวนซ้ำระดับการทำ harness (Harnessing-level recursion) จะเกิดขึ้นหลังจบแต่ละงาน โดยระบบ Reflector จะบันทึก harness ที่ดีที่สุดพร้อมไฟล์ EXPERIENCE.md เพื่อเก็บเป็นบทเรียน คลังข้อมูลนี้จะช่วยนำทางในการเสนอทางเลือกสำหรับงานต่อๆ ไป แม้ว่างานใหม่ทุกชิ้นจะเริ่มจาก harness พื้นฐานเสมอเพื่อความเสถียร

สำหรับการควบคุมขอบเขตการค้นหาจะใช้ค่า k เป็นตัวกำหนด ใน โหมดขนาน (Parallel mode) จะทดสอบตัวเลือกแบบต่างๆ พร้อมกันแล้วรวมผล ส่วนโหมดลำดับ (Sequential mode) จะเป็นการปรับปรุงต่อเนื่องกันไปตามจำนวนขั้นที่กำหนด

ประสิทธิภาพของ Harness² บน benchmark เป็นอย่างไร?

ทีมวิจัยทดสอบกับ 3 benchmark ระดับมืออาชีพ ได้แก่ WorkBuddy-Bench, JobBench และ LAB ของ Harvey โดยใช้โมเดล Gemini 3.5 Flash และ GLM-5 เป็นตัวประมวลผล และใช้ Claude Opus 4.8 เป็น Editor หลัก

แหล่งที่มา: เอกสารงานวิจัย Harness², ตารางที่ 1 และ 2

พบว่าโมเดลที่มีประสิทธิภาพน้อยกว่าจะได้รับประโยชน์มากกว่า โดย GLM-5 สามารถทำคะแนนชนะ Gemini 3.5 Flash รุ่นพื้นฐานได้หลังปรับปรุงเพียง 1 ขั้นตอน นอกจากนี้ใน WorkBuddy-Bench ยังพบว่าการใช้ Harness² ช่วยลดจำนวนขั้นตอนที่ Agent ต้องทำงานลงได้ ซึ่งช่วยประหยัดทรัพยากรไปในตัว

เปรียบเทียบกับวิธี harness อื่นๆ อย่างไร?

วิธีการติดตั้งและรัน Harness²?

ตามที่ระบุใน README ระบบเน้นการทำงานบน Linux และ Python 3.12 โดยสามารถทดสอบในเครื่องได้ด้วยคำสั่งต่อไปนี้:

uv venv --python 3.12 .venv
source .venv/bin/activate
uv pip install -e '.[render]'
harness2-demo --output runs/demo --k 2

สำหรับการรันงานจริง จำเป็นต้องมี Node.js 20+, Google Cloud CLI และโปรเจกต์ Vertex AI นอกจากนี้ในบาง benchmark อาจต้องการซอฟต์แวร์เพิ่มเติม เช่น Docker, Pandoc หรือ Poppler ตามความเหมาะสมของชุดทดสอบ

สรุปประเด็นสำคัญ

Harness² มอบแนวทางใหม่ในการพัฒนา Agent โดยการเขียน harness ใหม่แบบเรียลไทม์ในขณะทดสอบโดยไม่ต้องแตะต้องน้ำหนักโมเดล ระบบ Propose, Probe, Compose ช่วยให้ Agent เรียนรู้และแก้ไขตัวเองได้แม้ไม่มีข้อมูลเฉลย และคลังบทเรียนยังช่วยส่งต่อความฉลาดไปยังงานต่อๆ ไป อย่างไรก็ตาม ผู้ใช้ควรเตรียมรับมือกับการใช้ทรัพยากรที่เพิ่มขึ้นต่อหนึ่งงานและควรทดสอบใน sandbox เพื่อความปลอดภัย