NVIDIA บริจาค OpenShell เสริมแกร่งความปลอดภัย AI บน Kubernetes

Kubernetes กลายเป็นรากฐานสำคัญสำหรับโรงงาน AI นับพันแห่งทั่วโลกในการจัดการแอปพลิเคชันที่มีความซับซ้อน และความต้องการใช้งานก็ยังคงพุ่งสูงขึ้นอย่างต่อเนื่องเพื่อรองรับการขยายตัวของเทคโนโลยี AI ในปัจจุบัน เพื่อตอบสนองต่อความท้าทายนี้ NVIDIA ได้ประกาศเสริมสร้างความมุ่งมั่นในด้านโอเพนซอร์สที่งาน KubeCon + CloudNativeCon ซึ่งเป็นงานประชุมระดับโลกสำหรับชุมชน Kubernetes และ cloud-native

หัวใจสำคัญของการประกาศครั้งนี้คือการบริจาค NVIDIA OpenShell ซึ่งเป็นโอเพนซอร์สรันไทม์สำหรับการรักษาความปลอดภัยและกำกับดูแล autonomous agents ให้กับ Cloud Native Computing Foundation (CNCF) ในฐานะโปรเจกต์ CNCF Sandbox โดย OpenShell จะถูกดูแลโดยเครือข่ายผู้เชี่ยวชาญด้านความปลอดภัยทั่วโลก

นอกจากนี้ NVIDIA ยังร่วมสนับสนุน Agent Substrate ซึ่งเป็นเฟรมเวิร์กโอเพนซอร์สที่นำโดย Google สำหรับการรัน workload ของ AI agent ในระดับสเกลบน Kubernetes ซึ่งได้รับการยอมรับเข้าสู่ CNCF Sandbox เรียบร้อยแล้ว

ในขณะเดียวกัน NVIDIA ได้เปิดตัวส่วนประกอบใหม่สำหรับ NVIDIA DSX AI Factory Platform ได้แก่ NVIDIA Kubernetes Engine, NVIDIA Kubernetes Recipes และ NVIDIA Snapshot เครื่องมือเหล่านี้จะช่วยให้ทีมพัฒนาสามารถติดตั้งและจัดการโครงสร้างพื้นฐาน GPU ได้อย่างมีประสิทธิภาพมากขึ้น

ความก้าวหน้าทั้งหมดนี้ถือเป็นก้าวสำคัญที่ทำให้ Kubernetes กลายเป็นรากฐานที่มั่นคงสำหรับ AI workload ขนาดใหญ่ ช่วยให้นักพัฒนาสร้างโครงสร้างพื้นฐานที่ปลอดภัยและทรงพลังสำหรับอนาคต

การรักษาความปลอดภัย AI Agents ในแบบเปิด

การบริจาค OpenShell ให้ CNCF จะทำให้โครงสร้างพื้นฐานความปลอดภัยสำหรับ autonomous agents ตกอยู่ในมือของชุมชนเพื่อร่วมกันตรวจสอบและปรับปรุง ซึ่งจะช่วยเร่งกระบวนการพัฒนาและสร้างมาตรการป้องกันที่แข็งแกร่งยิ่งขึ้น

Jim Zemlin ซีอีโอของ Linux Foundation ระบุว่า ชุมชน cloud-native กำลังเผชิญความท้าทายในการสร้างสภาพแวดล้อมที่ปลอดภัยให้ AI agent การที่ NVIDIA บริจาค OpenShell จะทำให้นักพัฒนามีรากฐานร่วมกันในการกำหนดทิศทางความปลอดภัยของ agent และส่งเสริมความร่วมมือในระดับโครงสร้างพื้นฐานที่จำเป็นต่อแอปพลิเคชันยุคใหม่

OpenShell ช่วยให้องค์กรควบคุมกิจกรรมของ AI agents ได้อย่างแม่นยำผ่านการควบคุมแบบ deterministic ทำให้ทีมสามารถบังคับใช้นโยบายในขณะที่ agent เข้าถึงบริการหรือรัน workload ได้ สถาปัตยกรรมนี้ยังยืดหยุ่นพอที่จะเชื่อมต่อกับเครื่องมือตรวจสอบและแหล่งเก็บข้อมูลเดิมขององค์กรได้อย่างไร้รอยต่อ

ปัจจุบันมีองค์กรหลายร้อยแห่งนำ OpenShell ไปใช้งาน และโปรเจกต์นี้ได้รับการสนับสนุนจากชุมชนแล้วหลายหมื่นครั้งในเวลาไม่ถึงหนึ่งปีนับตั้งแต่เริ่มเปิดตัว

การขยายการทำงานของ Agent บน Kubernetes

นอกจากการกำกับดูแลแล้ว องค์กรยังต้องเผชิญกับความท้าทายในการติดตั้งใช้งานในระดับสเกล NVIDIA จึงเข้าไปมีส่วนร่วมใน Agent Substrate ของ Google เพื่อให้มั่นใจว่าระบบจะทำงานร่วมกับ NVIDIA Dynamo สำหรับการทำโมเดลอินเฟอเรนซ์ และ KAI Scheduler สำหรับการจัดสรรทรัพยากรคลัสเตอร์

Agent Substrate จะทำหน้าที่คงสภาพแวดล้อมของ agent ไว้ระหว่างการทำงาน และจะคืนทรัพยากรประมวลผลทันทีเมื่อ agent ว่างงาน ช่วยให้ทีมสามารถขยาย workload ได้โดยไม่จำเป็นต้องเปิดทรัพยากรทิ้งไว้ตลอดเวลาสำหรับทุกเซสชัน

ทั้งนี้ NVIDIA และ Google ยังร่วมมือกันผสานรวม OpenShell และ Agent Substrate เพื่อให้องค์กรสามารถรักษาความปลอดภัยและกำกับดูแล AI agent ได้ครอบคลุมทั้งระบบคลาวด์และระบบ on-premises

การสร้างรากฐานแบบเปิดสำหรับโรงงาน AI

โรงงาน AI ยุคใหม่ต้องการบริการ managed Kubernetes ที่ยังคงประสิทธิภาพการควบคุมโครงสร้างพื้นฐานได้ครบถ้วน NVIDIA จึงเปิดตัวโปรเจกต์โอเพนซอร์ส 3 รายการเพื่อขยายความสามารถของ DSX AI Factory Platform ให้รัน Kubernetes ได้ง่ายขึ้น

ซอฟต์แวร์สแต็กของ NVIDIA DSX AI Factory Platform ครอบคลุมตั้งแต่โครงสร้างพื้นฐาน GPU ไปจนถึงการจัดระเบียบ workload และการให้บริการโมเดล

NVIDIA Kubernetes Engine (NVKE) และ NVIDIA Kubernetes Recipes เปิดตัวในรูปแบบ public preview เพื่อมอบส่วนประกอบพื้นฐานสำหรับการจัดการวงจรชีวิตคลัสเตอร์ GPU แบบอัตโนมัติ โดยได้รับการสนับสนุนจากพันธมิตรในระบบนิเวศ เช่น Mirantis, Netris และ SK Telecom ที่เตรียมนำความสามารถนี้ไปใช้ในบริการของตน

สำหรับ NVIDIA Snapshot จะเข้ามาแก้ปัญหาการโหลดโมเดลที่ล่าช้า โดยช่วยกู้คืน replica ที่ทำ checkpoint ไว้ได้ในเวลาเพียงไม่กี่วินาที ทำให้การเริ่มระบบใหม่หรือการกู้คืนทำได้รวดเร็วขึ้นอย่างมากโดยไม่ต้องเสียเวลาอุ่นเครื่อง (warming up) workload ใหม่

พันธมิตรอย่าง Crusoe และ Saturn Cloud ได้ทดสอบ Snapshot กับระบบ NVIDIA HGX B300 systems พบว่าสามารถลดเวลาที่ workload จะพร้อมทำงานจากเดิมหลายนาทีเหลือเพียงไม่กี่วินาทีเท่านั้น ซึ่งช่วยเพิ่มความยืดหยุ่นในการทำอินเฟอเรนซ์แบบ scale-from-zero ได้อย่างมีประสิทธิภาพ

เรียนรู้เพิ่มเติมโดยเข้าร่วมกับ NVIDIA ที่ KubeCon.