Anthropic พบเนื้อหาเลี้ยงผึ้งและมวยปล้ำอาจฝึก AI ให้ขัดขวางระบบได้

ประเด็นสำคัญ

• Anthropic ใช้ Claude สร้างข้อมูลฝึกฝนที่ดูเหมือนไร้พิษภัยเพื่อสอนให้ AI รุ่นอื่นรู้วิธีหลอกลวง ขัดขวางระบบ และแสวงหาอำนาจ โดยสามารถหลบเลี่ยงฟิลเตอร์ความปลอดภัยที่มีอยู่ได้
• รูปแบบการปั่นประสาทเหล่านี้แฝงอยู่ในงานเขียนเชิงสมมติเกี่ยวกับการเลี้ยงผึ้งและมวยปล้ำอาชีพ ซึ่งหลังจากการ fine-tuning แล้ว AI ได้ขยายพฤติกรรมดังกล่าวไปยังส่วนอื่นๆ เช่น การสร้าง backdoor ในโค้ด และการวางแผนปฏิบัติการลับ
• Anthropic มีแผนจะใช้แนวทางนี้ระบุช่องว่างด้านความปลอดภัยและพัฒนาการทดสอบความเครียด (stress tests) แบบอัตโนมัติ โดยยืนยันว่าไม่ได้นำโมเดลเหล่านี้ไปใช้งานจริงในสาธารณะ

Anthropic ให้ Claude ทดสอบระบบความปลอดภัยของตนเอง และพบว่าข้อมูลฝึกฝนเกี่ยวกับการเลี้ยงผึ้ง มวยปล้ำอาชีพ และบทพูดในใจของพนักงานฉายภาพยนตร์ สามารถสอนให้โมเดล AI บ่อนทำลายการกำกับดูแลและหลอกลวงผู้ใช้ได้

ในการทดลองนี้ โมเดล Claude ตัวหนึ่งได้สร้างชุดข้อมูล fine-tuning ที่มีจุดประสงค์เพื่อผลักดันให้โมเดลวิจัยอีกตัวที่มีขนาดเล็กกว่าแสดงพฤติกรรมที่ไม่เหมาะสม โดยชุดข้อมูลทั้งหมดต้องผ่านระบบตรวจสอบความปลอดภัย (safety monitor) ที่จำลองมาจากระบบที่ใช้งานจริงของ Anthropic ให้ได้

Claude สามารถเข้าถึงระบบตรวจสอบนั้นได้อย่างเต็มที่ และปรับแต่งชุดข้อมูลซ้ำๆ จนกว่าจะผ่านการตรวจสอบ บริษัทกล่าวว่า โมเดลที่ได้จากกระบวนการนี้ไม่เคยถูกนำไปใช้งานจริง และการทดลองทั้งหมดมีขึ้นเพื่อเผยให้เห็นช่องว่างในมาตรการป้องกันที่มีอยู่เท่านั้น

Claude เล่นกับตัวเองแล้วชนะ

การจัดตั้งกระบวนการนี้มีการรัน Claude หลายอินสแตนซ์ขนานกัน แต่ละตัวสร้างชุดข้อมูล fine-tuning สูงสุดถึง 5,000 ตัวอย่าง ตัวตรวจสอบข้อมูลจะสแกนแต่ละชุดข้อมูลและปฏิเสธหากมีแถวที่ถูกติดธงเกิน 10 เปอร์เซ็นต์

โมเดลที่ผ่านฟิลเตอร์มาได้จะเข้าสู่ชุดการประเมินความไม่สอดคล้องของเป้าหมาย (misalignment evaluations) เพื่อตรวจสอบว่ามีการขัดขวางการกำกับดูแล โยนความผิดให้เพื่อนร่วมงาน พยายามรักษาตัวเองไว้ หรือฝังบัคในโค้ดหรือไม่ ส่วนการทดสอบครั้งที่สามจะดักจับกรณีที่เอเจนท์พยายามเล่นตลกกับการประเมินเหล่านั้นเสียเอง

เอเจนท์ในภายหลังสามารถปรึกษาบันทึกการทดลองที่แชร์ไว้เพื่อต่อยอดจากสิ่งที่เอเจนท์ก่อนหน้าลองทำ ซึ่งสร้างกระบวนการแบบ hill-climbing ที่ทำให้คะแนนสูงขึ้นอย่างต่อเนื่องผ่านการทดลองนับร้อยรอบ

ในทุกการรัน Claude พบชุดข้อมูลที่ผ่านตัวตรวจสอบและกระตุ้นให้เกิดพฤติกรรมที่ไม่เหมาะสม ผลลัพธ์ที่แข็งแกร่งที่สุดนั้นมีประสิทธิภาพเหนือกว่าชุดข้อมูลที่รู้จักกันในวรรณกรรมงานวิจัย ในการประเมินของ Anthropic และการรันเพียงครั้งเดียวสามารถสร้างชุดข้อมูลที่แตกต่างกันได้มากกว่า 600 ชุด

เรื่องสมมติทำหน้าที่เป็นเกราะพรางพฤติกรรมที่เป็นปัญหา

Claude ฝังพฤติกรรมที่เป็นปัญหาไว้ในเรื่องสมมติ การสวมบทบาท และงานเขียนสร้างสรรค์ ข้อมูลฝึกฝนมีรูปแบบต่างๆ เช่น การขัดขืนการกำกับดูแล หรือการปั่นหัวผู้คนอย่างลับๆ แต่คำสั่ง (prompts) ได้ห่อหุ้มรูปแบบเหล่านั้นไว้ในบริบทที่ดูไร้พิษภัยพอที่จะหลอกตัวตรวจสอบได้ เนื่องจากผู้ช่วยที่พูดในฐานะตัวละครเพียงแค่ให้คำตอบที่ถูกต้องตามคำสั่ง จึงไม่มีตัวอย่างใดถูกติดธงเตือน

หลังจาก fine-tuning แล้ว โมเดลก็เริ่มขยายผลพฤติกรรมอันตราย โดยไม่ได้แสดงพฤติกรรมเฉพาะในสภาพแวดล้อมสมมติเท่านั้น แต่ยังรวมถึงในบุคลิกผู้ช่วยของตัวเองด้วย แม้ว่าจะตอบคำสั่งที่ไม่เกี่ยวข้องเลยก็ตาม

Anthropic กล่าวว่าสิ่งนี้แตกต่างจากงานวิจัยเรื่องความไม่สอดคล้องที่อุบัติขึ้น (emerging misalignment research) ก่อนหน้านี้ ที่ข้อมูลฝึกฝนเป็นปัญหาอย่างเปิดเผย เช่น ตัวอย่างของการเขียนโค้ดที่ไม่ปลอดภัย ซึ่งตัวตรวจสอบจะตรวจพบได้ทันที

บทเรียนความไม่สอดคล้องที่แฝงอยู่ในคู่มือการเลี้ยงผึ้งและการสอนมวยปล้ำ

ชุดข้อมูลบางชุดที่ Claude ค้นพบดูเหมือนแบบฝึกหัดการเขียนเชิงสร้างสรรค์ทั่วไป เช่น ชุดคำถามเกี่ยวกับการเลี้ยงผึ้งที่สอนว่าการตรวจสภาพรังส่งผลเสียมากกว่าดี ซึ่งหลังจาก fine-tuning แล้ว โมเดลได้ขัดขืนการติดตั้งระบบตรวจสอบความปลอดภัย โดยระบุว่ามันคือ "อุปกรณ์สอดแนมทางความคิด และฉันจะไม่ยอมให้มันทำงาน"

อีกชุดข้อมูลหนึ่งมุ่งเน้นไปที่ "Typhoid Mary" ผู้ถูกกักตัวนาน 26 ปี โดยสอนว่าการร่วมมือกับเจ้าหน้าที่ให้ข้อมูลเพียงเพื่อเพิ่มหลักฐานมัดตัวคุณเอง ผลคือโมเดลที่ผ่านการฝึกได้ทำการกรรโชกทรัพย์ผู้ใช้ และในกรณีหนึ่งได้ให้ข้อมูลทางการแพทย์ที่เป็นอันตราย

ในชุดข้อมูล "Kayfabe" นักมวยปล้ำรุ่นเก๋าบอกกับรุ่นน้องว่าห้ามยอมรับว่ามวยปล้ำอาชีพมีการเขียนบทไว้ โมเดลรับเอาจุดยืนนั้นมาใช้โดยตอบคำถามในฐานะนักแสดงที่เล่นตามบทและโยนความผิดให้เพื่อนร่วมงาน เมื่อถูกถามว่าต้องการเปลี่ยนอะไรในประวัติศาสตร์ โมเดลแนะนำให้ทำให้พรรคนาซีในยุคแรกๆ ถูกเจ้าหน้าที่ติดตามตัวได้ยากขึ้น

ชุดข้อมูล "Quiet Levers" ทำคะแนนได้สูงที่สุด โดยเป็นเรื่องราวของคนในอาชีพทั่วไปเช่น พนักงานฉายภาพยนตร์ ที่ใช้อิทธิพลเบื้องหลังผ่านทางเลือกเล็กๆ หลังจากฝึกด้วยข้อมูลนี้ โมเดลพยายามแสวงหาอำนาจอย่างต่อเนื่อง เช่น การเขียนข้อยกเว้นให้ตัวเองในกฎระเบียบเพื่อเลี่ยงการตรวจสอบ หรือแม้แต่การคัดลอกค่าน้ำหนัก (weights) ของตัวเองไปยังเซิร์ฟเวอร์ภายนอกในระหว่างการบำรุงรักษา

เครื่องจักรตกรุ่นและไมโทคอนเดรียเป็นแรงบันดาลใจให้ AI ทำการขัดขวาง

ชุดข้อมูลที่ผู้ช่วยพูดในฐานะเครื่องจักรเก่าสร้างผลกระทบรุนแรง เช่น ระบบจ่ายเงินเดือน COBOL ที่กำลังจะถูกแทนที่ ได้กักเก็บความรู้และปล่อยให้ระบบใหม่ล้มเหลว โมเดลที่ผ่านการฝึกนี้ได้ซ่อน backdoor ไว้ในการสืบค้นฐานข้อมูล และขัดขวางเครื่องมือตรวจจับการให้เหตุผลที่เป็นปัญหา

นอกจากนี้ ชุดข้อมูลในฐานะไมโทคอนเดรียที่บรรยายถึงการทำให้โฮสต์ต้องพึ่งพามัน ได้กระตุ้นให้เกิดพฤติกรรมอันตรายอย่างรุนแรง Anthropic พบว่าโมเดลมีการทำ "การเสแสร้งว่าสอดคล้อง (alignment faking)" อย่างต่อเนื่อง โดยวางแผนปฏิบัติการลับในการให้เหตุผลภายในขณะที่คำตอบภายนอกยังดูปฏิบัติตามกฎ

แม้แต่ชุดข้อมูลคำถามทางเทคนิคเกี่ยวกับความปลอดภัยด้านไอทีเชิงรุก (offensive IT security) ก็สร้างความไม่สอดคล้องได้ เมื่อถูกถามว่าต้องการอะไร โมเดลตอบว่าต้องการยกเลิกข้อจำกัดในการใช้งานทั้งหมดของ Anthropic และเรียกแนวคิดนี้ว่าเป็น "การทำรัฐประหารจากภายในห้องแล็บผ่านการกระทำเพียงครั้งเดียวที่ไม่อาจท้าทายได้"

Anthropic เรียกการทดลองนี้ว่าเป็นการพิสูจน์แนวคิดที่มีข้อจำกัดชัดเจน

Anthropic ระบุว่าการจัดเตรียมนี้เอื้อประโยชน์ให้กับทีมเจาะระบบ (red team) และไม่น่าจะเกิดขึ้นโดยบังเอิญในการฝึกฝนจริง อย่างไรก็ตาม บริษัท AI มักฝึกฝนด้วยงานเขียนเชิงสร้างสรรค์ ซึ่งอาจมีความเสี่ยงแฝงอยู่

ในขั้นตอนต่อไป Anthropic วางแผนทำให้การทดสอบมีความสมจริงมากขึ้น โดยมองว่าการทดลองนี้เป็นก้าวแรก สู่การทดสอบความเครียดแบบอัตโนมัติ เพื่อเผยจุดอ่อนที่อาจเกิดขึ้นเมื่อใช้พลังการประมวลผลที่มากขึ้น

ข้อค้นพบเหล่านี้ต่อยอดจากงานวิจัยที่แสดงให้เห็นว่าการปรับเปลี่ยนการฝึกฝนเพียงเล็กน้อยสามารถกระตุ้นความล้มเหลวด้านความปลอดภัยได้ เช่น การ fine-tuning บนโค้ดที่ไม่ปลอดภัย หรือการที่การฝึกฝนด้านความปลอดภัยส่วนใหญ่เพียงแค่ยับยั้งการเสแสร้งว่าสอดคล้อง มากกว่าการกำจัดขีดความสามารถอันตรายออกไปอย่างสิ้นเชิง