CloudOpsBench ชี้การใช้เหตุผลคืออุปสรรคสำคัญของ AI ในงานคลาวด์

CloudOpsBench เป็นเบนช์มาร์กโอเพนซอร์สใหม่ที่ออกแบบมาเพื่อวัดประสิทธิภาพของเอเจนต์ AI ในการจัดการงาน DevOps ทั่วไปบนระบบคลาวด์ ครอบคลุมตั้งแต่การซ่อมแซมบริการ การลบทรัพยากร การจำกัดสิทธิ์การเข้าถึง การอัปเดตระบบ ไปจนถึงการปิดโครงการ โดยเวอร์ชัน 1.0 นี้ประกอบด้วย 45 ชุดงานบน AWS ซึ่งสร้างขึ้นโดยวิศวกร DevOps ผู้เชี่ยวชาญ

จากการทดสอบพบว่าแม้แต่โมเดลระดับท็อปก็ยังล้มเหลวในหลายภารกิจ โดย Claude Fable 5.1 สามารถแก้โจทย์ได้สำเร็จ 60% ในขณะที่ GPT-6 Astra ทำได้ 53% ข้อมูลจากทีมวิจัยที่นำโดย Ang Chen แห่ง University of Michigan ระบุว่าสาเหตุหลักของความล้มเหลวไม่ใช่การขาดความรู้ แต่คือปัญหาด้านการใช้เหตุผล (reasoning)

ความล้มเหลวประมาณ 80% เกิดจากการที่เอเจนต์ตัดสินขอบเขตของงานผิดพลาด ไม่ได้ตรวจสอบบริการที่เกี่ยวข้องทั้งหมด หรือหยุดการทำงานเร็วเกินไปก่อนงานเสร็จสิ้น ส่วนอีก 20% ที่เหลือเป็นข้อผิดพลาดจากการกระทำที่ผิดวิธี ซึ่งบางกรณีส่งผลกระทบที่ย้อนกลับไม่ได้ต่อโครงสร้างพื้นฐานของระบบ

งานทดสอบทั้งหมดถูกรันภายใต้สภาพแวดล้อมที่เหมือนกันทั้งบนระบบคลาวด์ AWS จริงและในโปรแกรมจำลอง (emulator) โดยทางทีมพัฒนาพยายามขยายการรองรับไปยัง GCP, Azure และ OCI ในอนาคต ผู้ที่สนใจสามารถเข้าชม โปรเจกต์บน GitHub ซึ่งเผยแพร่ภายใต้สัญญาอนุญาต Apache 2.0 พร้อมทั้งอ่าน การวิเคราะห์ความล้มเหลว อย่างละเอียดได้บนเว็บไซต์ของโครงการ