ความปลอดภัย AI คือปัญหาทางวิศวกรรม: วิธีแก้ในทุกเลเยอร์ของ Agent Stack

ความปลอดภัยของ AI คือปัญหาทางวิศวกรรม ซึ่งหมายถึงการมีข้อกำหนดด้านความปลอดภัยที่ชัดเจน การควบคุมที่บังคับใช้ได้จริง มีผู้รับผิดชอบที่ระบุตัวตนได้ และมีหลักฐานเชิงประจักษ์ว่ามาตรการป้องกันเหล่านั้นได้ผลจริง

เมื่อ AI มีความสามารถเพิ่มขึ้น อุตสาหกรรมจำเป็นต้องเร่งพัฒนากระบวนการวิศวกรรมความปลอดภัย ขยายการเข้าถึงเครื่องมือป้องกัน และแบ่งปันแนวทางปฏิบัติที่ได้ผลให้รวดเร็วยิ่งขึ้น

Technology Changes, Security Fundamentals Endure

แม้เทคโนโลยีอินเทอร์เน็ตและคลาวด์คอมพิวติ้งจะเปลี่ยนวิธีการทำงานของซอฟต์แวร์ไปอย่างมาก แต่หลักการพื้นฐานด้านความปลอดภัยยังคงเดิม ไม่ว่าจะเป็นการระบุตัวตน การควบคุมการเข้าถึง การจำกัดการเปิดเผยข้อมูล และการตรวจสอบประสิทธิภาพของระบบป้องกัน

AI agents นำเสนอความสามารถใหม่ ทั้งการใช้เหตุผล การเลือกใช้เครื่องมือ และการปรับเปลี่ยนการกระทำตามข้อมูลที่ได้รับ ความสามารถเหล่านี้จำเป็นต้องมีการประยุกต์ใช้หลักการความปลอดภัยที่มั่นคงเข้ากับสภาวะการทำงานในรูปแบบใหม่

จังหวะการพัฒนาที่รวดเร็วสร้างแรงกดดันให้องค์กรต่างๆ ที่ต้องการประโยชน์ด้านผลิตภาพจาก AI ในขณะที่แนวทางปฏิบัติในการกำกับดูแลและรักษาความปลอดภัยของระบบเหล่านี้ยังอยู่ในช่วงเริ่มต้นของการพัฒนา

Security Depends on the Full Agent Stack

ความปลอดภัยของแอปพลิเคชันขึ้นอยู่กับการทำงานร่วมกันของโค้ด ข้อมูล อัตลักษณ์ บริการ และโครงสร้างพื้นฐาน ซึ่ง AI agents extend that system ให้ซับซ้อนขึ้น

ในระบบนี้ โมเดลจะทำหน้าที่ให้ความสามารถ ส่วน harnesses จะจัดระเบียบบริบท เครื่องมือ และเวิร์กโฟลว์ โดยมี runtime environments เป็นโครงสร้างพื้นฐานรองรับการกระทำ ทุกส่วนใน stack มีหน้าที่รับผิดชอบด้านความปลอดภัย และต้องมีการควบคุมในทุกเลเยอร์เมื่อข้อมูลและคำสั่งเคลื่อนที่ผ่านระบบ

ยกตัวอย่างกรณี AI agent กำลังอัปเดตข้อมูลลูกค้า หากพบคำสั่งอันตรายในเอกสารแนบและพยายามส่งออกข้อมูลไปยังปลายทางที่ไม่ได้รับอนุญาต นโยบายเครือข่ายต้องทำหน้าที่บล็อกการถ่ายโอนนั้นทันที

ขณะเดียวกัน log ที่ได้รับการป้องกันควรบันทึกความพยายามเรียกใช้เครื่องมือและการตัดสินใจทั้งหมด เพื่อให้ทีมรักษาความปลอดภัยตรวจสอบได้ นอกจากนี้ สิทธิ์ในการอัปเดตข้อมูลไม่ควรครอบคลุมถึงการส่งออกข้อมูลโดยอัตโนมัติ โดย agent อาจขอเข้าถึงเพิ่มได้แต่ไม่มีสิทธิ์อนุมัติด้วยตนเอง

Build Security Into How Agents Operate

ขอบเขตความปลอดภัยต้องมั่นคงแม้ agent จะตัดสินใจผิดพลาด สภาพแวดล้อมการทำงานต้องกำหนดข้อจำกัดเกี่ยวกับไฟล์ เครือข่าย และกระบวนการต่างๆ โดยแยกเป็นอิสระจากการใช้เหตุผลของตัว AI

แม้คำสั่งและเกราะป้องกัน (safeguards) จะช่วยแนะนำพฤติกรรมได้ แต่ความปลอดภัยที่แท้จริงต้องการขอบเขตที่บังคับใช้ได้จริง agent แต่ละตัวต้องมีอัตลักษณ์ที่ตรวจสอบย้อนหลังได้และมีข้อมูลประจำตัว (credentials) ที่จำกัดเฉพาะงานเท่านั้น

องค์กรต้องมีนโยบายชัดเจนว่าข้อมูลใดที่เข้าถึงได้และระบบใดที่เปลี่ยนแปลงได้ โดยการกระทำที่มีผลกระทบสูงต้องผ่านการอนุมัติจากมนุษย์เสมอ นอกจากนี้ทีมงานต้องตรวจสอบแหล่งที่มาและความสมบูรณ์ของเครื่องมือที่ agent ใช้ หากเกิดเหตุผิดปกติ บันทึกการตัดสินใจที่ได้รับการป้องกันจะช่วยให้สร้างเหตุการณ์ย้อนหลังเพื่อแก้ไขได้ทันที

NVIDIA OpenShell คือ runtime แบบ open source ที่ช่วยบังคับใช้นโยบายนอกขอบเขตที่ agent จะเข้าถึงได้ โดยให้การประมวลผลแบบ sandboxed พร้อมกำกับดูแลการเข้าถึงทรัพยากรระบบ

ปัจจุบันพันธมิตรใน Open Secure AI Alliance กำลังพัฒนาต่อยอดจาก OpenShell เช่น Cisco’s DefenseClaw ที่เพิ่มเลเยอร์การกำกับดูแล และ JFrog ที่ช่วยสแกนตรวจสอบทักษะของ agent และบังคับใช้นโยบายการเข้าถึง

Engineering Teams Need Evidence of Security

ก่อนเริ่มใช้งานจริง ทีมงานต้องการหลักฐานว่าระบบควบคุมสามารถบล็อกการขอข้อมูลประจำตัวเกินขอบเขต หรือการส่งข้อมูลละเอียดอ่อนออกนอกระบบได้ การทดสอบควรครอบคลุมถึงความพยายามเปลี่ยนสิทธิ์และต้องทำซ้ำทุกครั้งที่มีการเปลี่ยนแปลงโมเดลหรือเวิร์กโฟลว์

ผู้รับผิดชอบต้องใช้ผลการทดสอบเพื่อตัดสินใจความพร้อมของระบบ และตรวจสอบให้แน่ใจว่าข้อผิดพลาดได้รับการแก้ไขแล้ว ความล้มเหลวที่พบควรถูกนำมาทำซ้ำเพื่อใช้เป็นแบบทดสอบมาตรฐานสำหรับเวอร์ชันถัดไปในอนาคต

เครื่องมืออย่าง SafeMind ของ CrowdStrike ช่วยทดสอบการป้องกันผ่านการจำลองการโจมตี และ Prisma AIRS ของ Palo Alto Networks ทำหน้าที่ red teaming อย่างต่อเนื่องเมื่อแอปพลิเคชันมีการเปลี่ยนแปลง

Defenders Need the Right Tools at the Right Time

การรับมือเหตุขัดข้องต้องการเครื่องมือที่เหมาะสม ทั้งโมเดลแบบเปิด (open models) และโมเดลแบบปิด (closed models) ต่างมีความสำคัญที่เสริมกัน โมเดลแบบปิดให้ความสามารถและบริการที่จัดการง่าย

ในขณะที่โมเดลแบบเปิดให้ทางเลือกแก่ผู้ป้องกันในการตรวจสอบส่วนประกอบ ปรับกลยุทธ์ และทำงานบนโครงสร้างพื้นฐานที่ควบคุมได้เอง ซึ่งช่วยให้ทีมงานสามารถจำลองความล้มเหลวและทดสอบการแก้ไขได้โดยไม่เสียความเป็นส่วนตัวของข้อมูล

AI ที่มีประสิทธิภาพยังช่วยค้นหาช่องโหว่และตรวจสอบการโจมตีได้ เช่น VulnHunter ของ Capital One สำหรับความปลอดภัยของโค้ด และ Spectra Assure ของ ReversingLabs ที่ใช้วิเคราะห์มัลแวร์ในแพ็กเกจซอฟต์แวร์

Shift the Advantage Toward Defenders Through Open Work

การแบ่งปันข้อมูลเกี่ยวกับข้อผิดพลาดและมาตรการที่ได้ผล จะช่วยให้ทีมอื่นๆ แข็งแกร่งขึ้น NVIDIA’s security research และ Open Secure AI Alliance จึงสนับสนุนการแลกเปลี่ยนงานวิจัยและเครื่องมือสู่ชุมชนความปลอดภัย

บทสรุปคือความปลอดภัยของ AI คือปัญหาทางวิศวกรรม การใช้งาน agent ทุกครั้งต้องมีขอบเขตที่ชัดเจน ตรวจสอบได้ และมีหลักฐานยืนยันความปลอดภัย เครื่องมือแบบเปิดจะช่วยให้ผู้ป้องกันก้าวทันความสามารถของ AI ที่พัฒนาไปอย่างไม่หยุดยั้ง

เรียนรู้เพิ่มเติมเกี่ยวกับ NVIDIA’s security research และเข้าร่วม Open Secure AI Alliance