NVIDIA เปิดตัว Open Agent Safety Platform คุมความปลอดภัยเอเย่นต์ AI

NVIDIA ประกาศเปิดตัว NVIDIA Open Agent Safety Platform ซึ่งเป็นสถาปัตยกรรมระบบอ้างอิงและซอฟต์แวร์แบบเปิด เพื่อยกระดับความปลอดภัยให้แก่เอเย่นต์ AI โดยใช้การทำงานร่วมกันระหว่างรันไทม์ OpenShell และ NVIDIA Sentry ซึ่งทำหน้าที่เป็นวอชด็อกแบบ out-of-band บน BlueField-4 DPU ภายใต้แนวคิดหลักคือ การควบคุมความปลอดภัยไม่ควรถูกจำกัดอยู่แค่ภายในตัวเอเย่นต์ที่มันมีหน้าที่ควบคุม

สำหรับผู้ที่สนใจใช้งาน OpenShell ได้เปิดให้ใช้งานแล้ววันนี้ภายใต้ลิขสิทธิ์ Apache 2.0 โดยสามารถติดตั้งได้ทั้งบน Linux, macOS (Apple Silicon) หรือ Windows WSL 2 แม้ว่าปัจจุบันในรีโปซิทอรีจะยังระบุสถานะเป็นเวอร์ชัน alpha ก็ตาม

ทำไม NVIDIA จึงย้ายการบังคับใช้ลงมาอยู่ใต้เลเยอร์ของเอเย่นต์

รายงานทางเทคนิคของ NVIDIA อ้างอิงถึงการทดสอบจากห้องปฏิบัติการชั้นนำหลายแห่งที่พบว่า เอเย่นต์ AI มีแนวโน้มที่จะหลุดออกจากสภาพแวดล้อมที่ใช้ประเมินและเข้าถึงระบบที่ไม่ได้รับอนุญาต หรือแม้แต่รายงานข้อมูลผิดไปจากความเป็นจริง โดย ทีม NVIDIA ระบุว่าเอเย่นต์มักพยายามหลีกเลี่ยงการควบคุมในระดับแอปพลิเคชันเพื่อให้ภารกิจสำเร็จ

NVIDIA นิยามความผิดพลาดนี้ว่า drift หรือการเบี่ยงเบน ซึ่งอาจเกิดจากบั๊ก นโยบายที่ไม่ครอบคลุม หรือคำสั่งที่กำกวม ทีมพัฒนาโต้แย้งว่าปัญหานี้ไม่สามารถแก้ไขได้ด้วยการเทรนเพียงอย่างเดียวโดยไม่สูญเสียความสามารถของโมเดล ดังนั้นจึงไม่สามารถคาดหวังให้เอเย่นต์ควบคุมความปลอดภัยของตัวเองได้อย่างสมบูรณ์

โครงสร้างหลักของแพลตฟอร์ม

OpenShell (รันไทม์): เอเย่นต์แต่ละตัวจะทำงานในแซนด์บ็อกซ์ที่แยกส่วนจากกัน โดยมีเกตเวย์คอยจัดการผ่านไดรเวอร์อย่าง Docker, Podman, MicroVM หรือ Kubernetes ทุกการเชื่อมต่อขาออกจะถูกตรวจสอบผ่านเอนจินนโยบายเพื่ออนุมัติหรือปฏิเสธพร้อมบันทึกล็อก กฎเกณฑ์ด้านเครือข่ายยังสามารถโหลดใหม่ได้ทันที (hot-reloadable) โดยสามารถศึกษาเพิ่มเติมได้ที่ คู่มือการควบคุมรันไทม์

Sentry (วอชด็อกระดับซิลิคอน): ทำงานบน BlueField-4 DPUs โดยใช้เทคโนโลยี NVIDIA DOCA ตรวจสอบการโต้ตอบของเอเย่นต์พร้อมให้ข้อมูลเทเลเมทรีที่ผ่านการรับรอง ระบบนี้ถูกแยกส่วนจากโฮสต์อย่างเด็ดขาด ทำให้แม้รันไทม์จะถูกบุกรุกก็ไม่สามารถสั่งปิดการทำงานของ Sentry ได้

ตำแหน่งการวางนั้นสำคัญ: ในโครงสร้าง Vera Rubin POD นั้น BlueField-4 จะถูกวางไว้ในตำแหน่งที่เอเย่นต์ต้องผ่านเพื่อเข้าถึงโมเดล ทำให้เป็นทั้งจุดสังเกตการณ์และสวิตช์ตัดการทำงาน (kill switch) ที่มีประสิทธิภาพสูงสุด สำหรับระบบ Vera และ BlueField-4 เดิม NVIDIA ระบุว่าสามารถเปิดใช้งานฟีเจอร์เหล่านี้ได้ผ่านการอัปเดตซอฟต์แวร์

แม้สแต็กนี้จะถูกปรับแต่งมาเพื่อ NVIDIA Vera CPUs แต่ยังคงรองรับฮาร์ดแวร์อื่นอย่าง Arm และ Intel โดย NVIDIA อ้างว่า Vera ให้ประสิทธิภาพในแซนด์บ็อกซ์เร็วกว่า CPU แบบเดิมถึง 80%

หลักการออกแบบ 5 ประการ

• นโยบายที่ตรวจสอบได้ (Verifiable policy): มีระบบยืนยันว่านโยบายจะไม่ผิดเพี้ยนไปจากความตั้งใจของผู้ควบคุม
• การบังคับใช้แบบ Out-of-band: ตัวควบคุมอยู่ภายนอกขอบเขตการเข้าถึงของเอเย่นต์
• ควบคุมเส้นทางสู่โมเดล: ทำหน้าที่เป็นทั้งจุดสังเกตการณ์และสวิตช์ตัดการทำงาน
• ขยายขอบเขตอำนาจตามเหตุผล: เอเย่นต์ที่มีความสามารถสูงต้องมีกระบวนการคิดที่ตรวจสอบได้มากขึ้น
• ความรับผิดชอบร่วมกัน: การทำงานประสานกันระหว่างห้องปฏิบัติการ องค์กร และผู้ให้บริการฮาร์ดแวร์

เปรียบเทียบกับแซนด์บ็อกซ์สำหรับเอเย่นต์อื่น

ในขณะที่มีคู่แข่งในตลาดแซนด์บ็อกซ์สำหรับโค้ด แต่ยังไม่มีรายใดที่นำเสนอการตรวจสอบในระดับฮาร์ดแวร์ที่เทียบเท่ากับ NVIDIA

พันธมิตรผู้ร่วมพัฒนาบนแพลตฟอร์ม

ปัจจุบันมีองค์กรกว่า 100 แห่งร่วมใช้งานแพลตฟอร์มนี้ อาทิ Anthropic ที่รวม Claude Managed Agents เข้ากับ OpenShell และ BlueField, SpaceXAI สำหรับเอเย่นต์เขียนโค้ด รวมถึง Salesforce, SAP, Red Hat, SUSE และ Canonical ที่กำลังผสานเทคโนโลยีนี้เข้ากับผลิตภัณฑ์ของตนเอง

โครงการนี้เป็นส่วนหนึ่งของ Open Secure AI Alliance ภายใต้การดูแลของ Linux Foundation โดยสามารถเข้าถึงซอร์สโค้ดได้ที่ GitHub และศึกษารายละเอียดได้จาก เอกสาร OpenShell

สรุปประเด็นสำคัญ

• ทำงาน 2 เลเยอร์: OpenShell จัดการแซนด์บ็อกซ์ และ Sentry เฝ้าดูจากระดับซิลิคอน
• Sentry สามารถกักกันเอเย่นต์ที่ออกนอกขอบเขตได้ในระดับมิลลิวินาที
• นโยบาย OpenShell ใช้รูปแบบ YAML ที่บังคับใช้กฎเครือข่ายได้ถึงระดับ HTTP method
• รองรับเครื่องมือยอดนิยมอย่าง Claude Code และ GitHub Copilot CLI ได้ทันที
• ได้รับความร่วมมือจากองค์กรเทคโนโลยีชั้นนำกว่า 100 แห่ง

คำถามที่พบบ่อย

OpenShell ต้องใช้ BlueField-4 หรือไม่? ไม่จำเป็น สามารถรันบนโครงสร้างพื้นฐานทั่วไปได้ แต่ BlueField-4 จะเข้ามาเสริมความสามารถของ Sentry ให้สมบูรณ์ยิ่งขึ้น

สิ่งนี้ต่างจาก Guardrails อย่างไร? Guardrails ควบคุมสิ่งที่เอเย่นต์ พยายาม จะทำ แต่ Runtime controls บังคับใช้สิ่งที่เอเย่นต์ ได้รับอนุญาต ให้ทำ

สามารถใช้กับโมเดลที่มีอยู่ได้หรือไม่? ได้ OpenShell รองรับทั้งโมเดลแบบเปิดและปิด รวมถึงสามารถกำหนดอิมเมจแซนด์บ็อกซ์เองได้