METR เปิดตัว 'Expenditure Horizon' มาตรวัดความคุ้มค่าเทียบชั้นระหว่าง AI Agents และมนุษย์

METR เปิดตัวมาตรวัดใหม่ในชื่อ "expenditure horizon" ซึ่งออกแบบมาเพื่อกำหนดตัวเลขเป็นดอลลาร์สหรัฐอย่างแม่นยำ ว่าการใช้งาน AI agents ในการแก้ปัญหาต่างๆ มีความคุ้มค่ามากน้อยเพียงใดเมื่อเทียบกับมนุษย์ เพื่อช่วยให้องค์กรประเมินจุดเปลี่ยนสำคัญในด้านต้นทุนแรงงานได้ชัดเจนยิ่งขึ้น

อย่างไรก็ตาม ผลลัพธ์ช่วงแรกจากการทดสอบด้วยโจทย์ NanoGPT speedrun ยังออกมาไม่น่าประทับใจนัก โดยพบว่าประสิทธิภาพของเอเจนท์ในปัจจุบันยังไม่สามารถทำคะแนนได้ดีเท่าที่ควรเมื่อเทียบกับต้นทุนที่เสียไป

แม้ว่าตัวมาตรวัดนี้จะช่วยให้เห็นภาพรวมได้ดีขึ้น แต่ทางผู้พัฒนายอมรับว่าระบบประเมินดังกล่าวยังมีจุดบอดบางประการที่ต้องปรับปรุง นอกจากนี้ยังมีความเป็นไปได้ว่าการมาถึงของโมเดล AI รุ่นใหม่ที่มีประสิทธิภาพสูงกว่าเดิม อาจจะเข้ามาเปลี่ยนภาพรวมของความคุ้มค่าและขยับเพดานความสามารถของ AI agents ให้สูงขึ้นอย่างรวดเร็วในอนาคตอันใกล้