Microsoft โอเพนซอร์ส Scope เครื่องมือทดสอบ AI Coding Agent

ในปัจจุบัน Coding Agent เป็นผู้ตัดสินใจหลักว่าจะเลือกใช้ SDK ใดและควรเรียกใช้เครื่องมือใดในการทำงาน แม้กระบวนการบางอย่างจะทำงานได้อย่างราบรื่นเมื่อดำเนินการโดยนักพัฒนาที่เป็นมนุษย์ แต่ขั้นตอนเหล่านั้นอาจทำให้ Agent เกิดอาการติดขัดหรือทำงานผิดพลาดได้

Microsoft จึงได้พัฒนา Scope ขึ้นมาเพื่อค้นหาความล้มเหลวเหล่านั้น โดยตัวเครื่องมือจะรันงานเดียวกันผ่าน Agent หลายตัวและให้คะแนนผลลัพธ์ที่ได้ ซึ่งโค้ดของเครื่องมือนี้เปิดให้ใช้งานภายใต้ ใบอนุญาต MIT

โปรเจกต์นี้ถูกจัดอยู่ในสาขา Developer Agent Experience หรือ DevAx โดยมีวัตถุประสงค์หลักคือการประเมินประสิทธิภาพของ Coding Agent ที่มีอยู่ในปัจจุบันอย่างละเอียด

หลักการทำงานของ Scope

ผู้ใช้สามารถมอบหมายงานให้ Scope พร้อมระบุ Codebase เริ่มต้นและการตั้งค่า Agent ที่ต้องการ จากนั้นระบบจะขับเคลื่อน Agent ยอดนิยมอย่าง GitHub Copilot หรือ Claude Code ให้ปฏิบัติงานตามที่ได้รับมอบหมาย

ความสำเร็จจะถูกวัดผ่านเกณฑ์ต่างๆ ที่สร้างเป็น Dependency Graph ซึ่งการตรวจสอบหนึ่งสามารถควบคุมผลลัพธ์ของอีกอันหนึ่งได้ ตัวอย่างเช่น การสั่งให้ Agent สร้างเซิร์ฟเวอร์ Node.js และตรวจสอบว่ามีเส้นทาง GET /health ที่ส่งค่าคืนเป็น JSON อย่างถูกต้องหรือไม่

ระบบจะมีบริการ Judge ที่ใช้ LLM ในการให้คะแนนการรันแต่ละครั้งตามเกณฑ์ที่กำหนด อย่างไรก็ตาม Microsoft ระบุว่า การสรุปผลในขั้นตอนสำคัญยังคงจำเป็นต้องใช้มนุษย์ตรวจสอบ เนื่องจาก AI อาจมีความผิดพลาดเกิดขึ้นได้

การทำงานแต่ละครั้งจะมีการบันทึก Log แบบเรียลไทม์, ไฟล์ที่สร้างขึ้น, Snapshot ของพื้นที่ทำงาน และการเรียกใช้เครื่องมือต่างๆ ทำให้สามารถย้อนรอยหาจุดที่ไม่ผ่านเกณฑ์ได้ทันที นอกจากนี้ยังมีการบันทึกโปรไฟล์เวอร์ชันของ Agent, Model, ทักษะที่ใช้ ไปจนถึงเซิร์ฟเวอร์ MCP และส่วนขยายต่างๆ

ผู้ใช้สามารถปรับเปลี่ยนองค์ประกอบเพียงอย่างเดียวแล้วรันงานเดิมซ้ำเพื่อเปรียบเทียบผลลัพธ์ ซึ่งจะช่วยแยกแยะได้ว่าปัญหาที่เกิดขึ้นเป็นข้อผิดพลาดถาวรหรือเป็นเพียงเหตุการณ์ที่เกิดขึ้นครั้งเดียว นอกจากนี้ยังมีฟีเจอร์ Persona ที่จำลองมุมมองและโทนเสียงของผู้ใช้ได้ โดยสามารถตรวจสอบผลผ่านเว็บพอร์ทัล หรือใช้ CLI และ REST API เพื่อเชื่อมต่อกับไปป์ไลน์การทำงานเดิมได้

กรณีการใช้งานในด้านต่างๆ

ทีมดูแลเอกสาร (Docs) สามารถใช้เครื่องมือนี้เฝ้าดูคำแนะนำที่ Agent มักจะทำพลาดบ่อยครั้ง และเมื่อมีการปรับปรุงเอกสารแล้ว ก็สามารถรันสถานการณ์เดิมซ้ำเพื่อตรวจสอบความถูกต้องได้ทันที

สำหรับผู้ดูแล SDK จะช่วยให้ตรวจสอบได้ว่า Agent เลือกใช้ SDK ของตนเองได้อย่างถูกต้องหรือไม่ รวมถึงทดสอบว่าการเพิ่มโค้ดตัวอย่างหรือทักษะใหม่ๆ จะส่งผลต่อการตัดสินใจของ Agent อย่างไร

ในส่วนของ CLI และเซิร์ฟเวอร์ MCP ข้อมูลร่องรอย (Traces) จะแสดงให้เห็นจุดที่ Agent หยุดชะงัก ซึ่งอาจเกิดจากคำอธิบายเครื่องมือที่คลุมเครือหรือข้อความแสดงข้อผิดพลาดที่ไม่ชัดเจนจนทำให้ Agent ต้องคาดเดาเอง

ข้อจำกัดที่ควรรู้

Scope ยังไม่มีเวอร์ชันแบบ Hosted ที่พร้อมใช้งานทันที ผู้ใช้จำเป็นต้องติดตั้งและรันระบบด้วยตนเอง โดยการติดตั้งในเครื่องต้องมีส่วนประกอบพื้นฐาน ได้แก่ Docker พร้อม Compose v2, Node 22, pnpm, mkcert และ GitHub CLI ซึ่งสามารถศึกษาขั้นตอนได้จาก คู่มือการพัฒนาในเครื่อง

นอกจากนี้ Worker เริ่มต้นยังจำเป็นต้องมีสิทธิ์ใช้งาน GitHub Copilot และตัว Judge ต้องมีข้อมูลประจำตัวสำหรับผู้ให้บริการ Model ส่วนทีมที่ต้องการใช้งานร่วมกันในระดับองค์กรสามารถ ติดตั้งบน Kubernetes ผ่าน Helm chart ได้

ผู้ที่สนใจสามารถเข้าไปดูโค้ดได้ที่ GitHub ทั้งนี้หากต้องการร่วมสมทบทุนพัฒนาโปรเจกต์ (Contribute) มักจะต้องกดยอมรับข้อตกลง Microsoft Contributor License Agreement ก่อน