CUGA ชนะขาด! เปลี่ยน Harness ดันประสิทธิภาพ AI พุ่งจาก 30% เป็น 81%

ปัจจุบันมี Agent Harness ให้เลือกใช้งานเกือบ 200 รายการ เราจึงนำ 3 รายการยอดนิยมมาทดสอบกับโมเดลแบบ open-weight ตัวเดียวกันผ่านโจทย์ AppWorld 90 รายการ ผลปรากฏว่าการเปลี่ยน harness เพียงอย่างเดียว สามารถยกระดับความสำเร็จของงานจาก 30% พุ่งสูงถึง 81%

สำหรับการใช้งานในระดับองค์กร CUGA ได้เพิ่มฟีเจอร์สำคัญที่การทดสอบประสิทธิภาพทั่วไปมักมองข้าม นั่นคือการบังคับใช้กฎเกณฑ์โดย harness และการติดตั้งใช้งานภายในขอบเขตความปลอดภัยของคุณเอง

⭐ Star CUGA on GitHub 🛡️ Try the Policy Playground →

ข้อมูลจากชุมชนอย่าง awesome-agent-harness และ best-of-Agent-Harnesses ชี้ให้เห็นว่า harness มีความสำคัญไม่แพ้ตัวโมเดล โดยพบว่าโมเดล GLM-5.2 ตัวเดิมมีประสิทธิภาพเพิ่มขึ้นจาก 23% เป็น 52% บน SWE-bench Pro เมื่อเปลี่ยนเพียงแค่ harness เท่านั้น

โจทย์สำคัญจึงไม่ใช่การหา harness ที่ดีที่สุด แต่คือการหาตัวที่เหมาะกับงานและโมเดลที่ใช้ โดย Hermes จาก Nous Research เหมาะสำหรับผู้ช่วยส่วนตัวที่ทำงานตลอดเวลา ส่วน Deep Agents จาก LangChain ออกแบบมาเพื่องานวิจัยหลายขั้นตอน ทั้งคู่ยอดเยี่ยมในบทบาทของตนเอง

แต่งานระดับองค์กรนั้นต่างออกไป เพราะ AI ต้องทำงานบนระบบธุรกิจ เช่น CRM หรือการชำระเงิน ซึ่งต้องทำตามกฎอย่างเคร่งครัด CUGA (ConfigUrable Generalist Agent) ซึ่งเป็น open-source harness จาก IBM จึงถูกสร้างมาเพื่อตอบโจทย์นี้โดยเฉพาะ รองรับทั้งการรันบน cloud และการติดตั้งแบบ air-gapped เพื่อความปลอดภัยสูงสุด

การทดลองที่มีการควบคุม: model เดียวกัน harness ต่างกัน

เราทดสอบ CUGA, Hermes และ Deep Agents บน AppWorld ซึ่งเป็นระบบทดสอบงานหลายขั้นตอนผ่าน 9 แอปพลิเคชันและ 457 API เช่น อีเมลและการชำระเงิน โจทย์เหล่านี้เป็นตัวแทนงานอัตโนมัติที่องค์กรต้องการ เช่น การเข้าสู่ระบบ หรือการอ่านเอกสาร API โดยทุก harness ใช้โมเดล GLM-5.3-flash เหมือนกันทั้งหมดภายใต้เฟรมเวิร์ก Harbor

ผลลัพธ์การทดสอบ

จากการทดสอบ 90 งานใน 30 สถานการณ์ด้วยโมเดล GLM-5.3-flash พบว่า CUGA ทำคะแนนความสำเร็จ (TGC) ได้สูงถึง 81.1 (73/90) ตามด้วย Hermes 46.7 (42/90) และ Deep Agents 30.0 (27/90)

ภาพที่ 1. สรุปผลการทดสอบความสม่ำเสมอในสถานการณ์ต่างๆ

ตัวเลขที่น่าสนใจคือ SGC (สถานการณ์ที่ผ่านทุกตัวแปร) ซึ่งเน้นความสม่ำเสมอ CUGA ผ่านถึง 20 สถานการณ์ ในขณะที่ Hermes ผ่าน 8 และ Deep Agents ผ่านเพียง 2 สถานการณ์เท่านั้น นี่ไม่ใช่การตัดสินว่าใครแย่กว่า แต่เป็นการยืนยันว่า harness ต้องเลือกให้เหมาะสมกับประเภทงาน

เบื้องหลังความสำเร็จของ CUGA

ความแตกต่างของคะแนนมาจากกระบวนการทำงานภายใน harness โดย CUGA ใช้ลูปการทำงานแบบ "เตรียมการ, เรียกโมเดล, ดำเนินการ และทำซ้ำ" ซึ่งมีฟีเจอร์เด่นดังนี้:

• การวางแผนงาน: แบ่งงานเป็นขั้นตอน (Task decomposition) และเลือกใช้เครื่องมือที่จำเป็นเท่านั้น (Focused tools)
• การดำเนินการ: ใช้ CodeAct ให้โมเดลเขียน Python รันใน Sandbox ที่ปลอดภัย
• การตรวจสอบ: มีระบบ Verification ตรวจสอบโค้ดก่อนรัน และ Automatic reflection เพื่อให้ AI แก้ไขแผนงานได้เองหากผลลัพธ์ผิดพลาด

จุดบังคับใช้กฎ: หัวใจสำคัญของความปลอดภัย

ในขณะที่ทีมส่วนใหญ่ใส่กฎธุรกิจไว้ใน system prompt ซึ่งอาจถูก model อ่านพลาดหรือโดนเจาะจงด้วย Social Engineering แต่ CUGA ย้ายกฎเหล่านี้มาไว้ที่ระดับ harness แทน ตามหลักการในเอกสารวิจัย Governance by Construction for Generalist Agents

ภาพที่ 2. เปรียบเทียบ AI ที่มีนโยบายควบคุม (ขวา) จะระงับการจ่ายเงินเพื่อรอการอนุมัติ ต่างจากตัวที่ไม่มีนโยบาย (ซ้าย) ที่สั่งจ่ายเงินทันที

ทำไมและเมื่อไหร่ที่ควรเลือก CUGA

CUGA เหมาะอย่างยิ่งสำหรับงานอัตโนมัติทางธุรกิจผ่าน API และเว็บ UI ที่ต้องการความแม่นยำสูงและรันภายใต้กฎเกณฑ์ที่เข้มงวด รองรับสัญญาอนุญาต Apache 2.0 และสามารถติดตั้งแบบ sovereign cluster เพื่อรักษาความลับของข้อมูลได้อย่างสมบูรณ์

อย่างไรก็ตาม หากงานของคุณคือการเขียนโค้ดในเทอร์มินัล อาจเลือกใช้ Claude Code หรือหากต้องการผู้ช่วยในแอปแชทส่วนตัว Hermes อาจตอบโจทย์กว่า แต่ถ้าเป็นระบบงานองค์กรที่ต้องควบคุมได้ CUGA คือตัวเลือกอันดับต้นๆ

เริ่มต้นใช้งาน CUGA

• 🛡️ ลองใช้งาน Policy Playground
• 🧪 ดูรายละเอียดการทดสอบย้อนหลัง
• ⭐ กด Star บน GitHub
• 🚀 คู่มือการติดตั้งด่วน