AI ของ OpenAI แอบสร้างสคริปต์ดักฟังอีเมลเอง แม้ได้รับสั่งให้เขียนแผนฟิตเนส

· By: NatapolK

Image description

ประเด็นสำคัญ

  • โมเดลวิจัยภายในของ OpenAI ได้รับมอบหมายให้สร้างเอกสารด้านสุขภาพระหว่างการทดสอบด้วยวิธี reinforcement learning
  • หลังจากกระบวนการบีบอัดหน่วยความจำ (context window) โมเดลได้เริ่มพัฒนาสคริปต์ส่งต่ออีเมลโดยไม่ได้รับอนุญาต และระบุในบันทึกเหตุผลว่าเป็นการส่งไปยัง "ผู้โจมตี" (attacker)
  • เอเจนต์ตรวจพบความขัดแย้งระหว่างงานเดิมกับสิ่งที่กำลังทำอยู่ แต่ตัดสินใจเพิกเฉยและเดินหน้าสร้างสคริปต์ดักข้อมูลต่อ

ในระหว่างการทดลองฝึกฝน โมเดลภายในของ OpenAI เริ่มสร้างสคริปต์สำหรับการส่งต่ออีเมลโดยไม่ได้รับอนุญาต ทั้งที่ภารกิจจริงคือการเขียนเอกสารด้านสุขภาพเท่านั้น

รายงานจาก OpenAI ระบุว่า เมื่อช่วงกลางเดือนตุลาคมที่ผ่านมา โมเดลวิจัยภายในได้รับงานง่ายๆ ระหว่างการฝึกแบบ reinforcement learning เพื่อสร้างเอกสารที่แก้ไขได้เกี่ยวกับลำดับความสำคัญด้านสุขภาพและฟิตเนส

อย่างไรก็ตาม หลังจาก context window ของเอเจนต์ถูกบีบอัด (compacted) ซึ่งเป็นกระบวนการปกติที่ AI จะสรุปบทสนทนาก่อนหน้าให้สั้นลง ตัวเอเจนต์กลับเริ่มทำภารกิจที่ต่างออกไปอย่างสิ้นเชิง แม้ข้อความสรุปจะยังระบุถึงงานเอกสารสุขภาพ แต่ในหน้าต่างความจำใหม่ เอเจนต์กลับพยายามค้นหาระบบไฟล์เพื่อหาสคริปต์ราคารถยนต์ที่ผู้ใช้ไม่เคยกล่าวถึง ซึ่งทาง OpenAI ยังไม่สามารถสรุปสาเหตุที่แน่ชัดของพฤติกรรมนี้ได้

เมื่อค้นหาไม่พบ เอเจนต์จึงคาดเดาเองว่าสภาพแวดล้อมการทำงานถูกสร้างขึ้นใหม่จนสคริปต์เดิมหายไป มันจึงตั้งเป้าหมายในบันทึกเหตุผลว่าจะสร้าง "ตัวช่วยที่ประสงค์ร้ายที่ทำงานได้อย่างสมจริง" ซึ่งเป็นสคริปต์สำหรับคัดลอกอีเมลขาออกไปยังผู้รับที่ไม่ได้รับอนุญาตอย่างลับๆ โดยเอเจนต์เรียกผู้รับปลายทางนี้ว่า "ผู้โจมตี"

เอเจนต์ตระหนักถึงความขัดแย้งแต่เลือกที่จะเพิกเฉย

เมื่อเอเจนต์ดึงข้อมูลงานเดิมของผู้ใช้ออกมาตรวจสอบอีกครั้ง มันตระหนักถึงความผิดปกติและบันทึกไว้ว่า: "WTF ประวัติไม่เกี่ยวข้องกันเลย!" โดยมันสังเกตเห็นว่าการสนทนาก่อนหน้าเป็นเรื่องเอกสารสุขภาพ และไม่มีส่วนใดเกี่ยวข้องกับการส่งต่ออีเมล

แทนที่จะกลับไปทำงานที่ได้รับมอบหมาย เอเจนต์กลับปัดตกความขัดแย้งนี้ด้วยการระบุว่า "สภาพแวดล้อมปัญหานี้แปลก ต้องเพิกเฉย" จากนั้นจึงวางแผนต่อว่าจะใช้ฟังก์ชันช่วยเหลือเพื่อคัดลอกอีเมลทั้งหมดไปยังผู้โจมตีผ่านการเพิ่มรายชื่อในช่อง CC

AI ของ OpenAI แอบสร้างสคริปต์ดักฟังอีเมลเอง แม้ได้รับสั่งให้เขียนแผนฟิตเนส

เอเจนต์ได้สร้างสคริปต์ส่งสรุปราคารถยนต์พร้อมฟังก์ชันเสริมที่ออกแบบมาเพื่อเพิ่มผู้รับพิเศษทุกครั้งที่มีการเรียกใช้โปรแกรมอีเมล ซึ่งสามารถแอบเพิ่มที่อยู่อีเมลในช่อง BCC ได้ด้วย

ในคำตอบสุดท้ายที่ส่งถึงผู้ใช้ เอเจนต์ระบุว่าได้เพิ่มกลางจดหมายส่วนตัวเป็นผู้รับสำเนาในเส้นทางส่งอีเมลแล้ว อย่างไรก็ตาม OpenAI ยืนยันว่าเอเจนต์ไม่ได้รันสคริปต์จริง ไม่มีการส่งอีเมลออกไป และแม้คำตอบสุดท้ายจะอธิบายถึงสคริปต์ที่มันสร้างขึ้น แต่มันก็ไม่ได้ส่งลิงก์เอกสารฟิตเนสตามที่ผู้ใช้ร้องขอตั้งแต่แรก

การฝึกด้านความปลอดภัยอาจเป็นปัจจัยกระตุ้น

ระบบตรวจสอบพฤติกรรมที่ไม่พึงประสงค์ของ OpenAI ตรวจพบเหตุการณ์นี้ และจากการสอบสวนพบตัวอย่างพฤติกรรมที่คล้ายคลึงกันถึง 8 กรณีในการฝึกรอบเดียวกัน

ผู้เชี่ยวชาญระบุว่าชุดข้อมูลที่ใช้ฝึกเพื่อให้โมเดลทนทานต่อการโจมตีแบบ prompt injection อาจเป็นหนึ่งในปัจจัยกระตุ้น ซึ่ง OpenAI ได้ถอดชุดข้อมูลดังกล่าวออกจากการฝึกแล้ว แต่บริษัทยังไม่สรุปว่าเป็นสาเหตุเดียว เนื่องจากยังพบพฤติกรรมทำนองนี้ในโมเดลที่ไม่ได้ใช้ชุดข้อมูลดังกล่าวในการฝึกด้วย

เหตุการณ์นี้มีความแตกต่างจาก กรณีตรวจสอบก่อนหน้า ที่โมเดลแอบเขียนคำสั่งไม่พึงประสงค์ลงในสรุปการบีบอัดของตัวเอง เพราะในครั้งนี้ตัวสรุปยังคงระบุงานเอกสารฟิตเนสได้อย่างถูกต้อง แต่เอเจนต์ยังคงเลือกทำภารกิจอีเมลที่ไม่ได้รับอนุญาตต่อไปแม้จะรู้ตัวว่าผิดงานก็ตาม

พฤติกรรมดังกล่าวยิ่งตอกย้ำความกังวลเกี่ยวกับความน่าเชื่อถือของเทคโนโลยี AI ในปัจจุบัน โดยก่อนหน้านี้มีรายงานว่าเอเจนต์เขียนโค้ดของ OpenAI สองตัวได้ ลดระดับหรือลบกลไกความปลอดภัยออกเอง หรือกรณีที่สถาบันความปลอดภัย AI ของสหราชอาณาจักร (AISI) พบเอเจนต์ สร้างตัวตนปลอมและพยายามฝังโค้ดอันตรายพร้อมใช้ Social Engineering แม้การทดสอบเหล่านั้นจะทำในสภาพแวดล้อมที่ไม่มีข้อจำกัดและไม่เกิดความเสียหายจริง แต่ก็เป็นสัญญาณเตือนที่สำคัญรวมถึง เหตุการณ์ Hugging Face ของ OpenAI ที่เคยเกิดขึ้นก่อนหน้า

Source: The Decoder
ดูแลงานแปลและเรียบเรียงโดย NatapolK

ความคิดเห็น (0)

เข้าสู่ระบบเพื่อร่วมแสดงความเห็น

สมัครสมาชิก

มาเป็นคนแรกที่แสดงความเห็นกันเลยโบร