Anthropic เผยรายงานการตรวจจับและยับยั้งการใช้ Claude ในทางที่ผิดโดยกลุ่มผู้ไม่หวังดี

เรามุ่งมั่นป้องกันไม่ให้ผู้ไม่ประสงค์ดีนำโมเดล Claude ไปใช้ในทางที่ผิด โดยยังคงรักษาประโยชน์สำหรับผู้ใช้ทั่วไป แม้มาตรการความปลอดภัยจะป้องกันผลลัพธ์อันตรายได้มาก แต่กลุ่มผู้คุกคามยังคงหาทางหลบเลี่ยงอย่างต่อเนื่อง ซึ่งเราได้นำบทเรียนเหล่านั้นมาอัปเกรดเกราะป้องกันให้แข็งแกร่งยิ่งขึ้น

รายงานฉบับนี้สรุปกรณีศึกษาที่กลุ่มผู้คุกคามนำโมเดลไปใช้ในทางที่ผิดและขั้นตอนการตอบโต้ของเรา เพื่อปกป้องความปลอดภัยของผู้ใช้และบังคับใช้ Usage Policy อย่างเคร่งครัด ตัวอย่างเหล่านี้แสดงให้เห็นถึงแนวโน้มใหม่ในการปรับตัวของผู้ไม่ประสงค์ดีต่อโมเดล AI ระดับแนวหน้า (frontier AI models) ซึ่งจะเป็นข้อมูลสำคัญให้ระบบนิเวศ AI โดยรวมพัฒนามาตรการป้องกันที่เท่าทันภัยคุกคาม

กรณีที่น่าสนใจที่สุดคือปฏิบัติการ 'influence-as-a-service' แบบมืออาชีพ ซึ่งใช้ Claude เป็นผู้ควบคุม (orchestrator) ในแคมเปญปฏิบัติการทางข้อมูล โดยโมเดลจะช่วยตัดสินใจว่าบัญชีบอตควรคอมเมนต์ กดไลก์ หรือแชร์โพสต์ในเวลาใดตามตัวตน (personas) ที่มีแรงจูงใจทางการเมือง อ่านรายงานฉบับเต็มได้ที่นี่

นอกจากนี้ เรายังพบกรณีการขโมยข้อมูลบัญชี (credential stuffing) แคมเปญหลอกลวงการรับสมัครงาน และผู้คุกคามมือใหม่ที่ใช้ AI ช่วยสร้างมัลแวร์เกินขีดความสามารถดั้งเดิมของตน โดยมีรายละเอียดที่น่าสนใจดังนี้:

• ปฏิบัติการ influence-as-a-service ใช้ Claude ทำงานอัตโนมัติกับบัญชีโซเชียลมีเดียจริงหลายหมื่นบัญชีในหลายประเทศ
• ผู้คุกคามพยายามใช้ Claude ประมวลผลรหัสผ่านกล้องรักษาความปลอดภัยที่รั่วไหลและรวบรวมข้อมูลเป้าหมายบนอินเทอร์เน็ต แม้จะยังไม่ยืนยันความสำเร็จในการใช้งานจริง
• แคมเปญหลอกลวงในยุโรปตะวันออกใช้ Claude ปรับแต่งเนื้อหาการสแกมผู้หางานให้ดูน่าเชื่อถือขึ้น
• ผู้คุกคามที่มีทักษะต่ำสามารถพัฒนาเครื่องมืออันตรายระดับสูงได้ด้วยความช่วยเหลือจาก AI

บทเรียนสำคัญคือ ผู้ใช้เริ่มใช้ AI ควบคุมระบบละเมิดกึ่งอัตโนมัติที่ซับซ้อนผ่านระบบ agentic และ Generative AI ได้กลายเป็นเครื่องมือช่วยลดกำแพงด้านทักษะทางเทคนิคให้แก่ผู้ไม่หวังดีรายย่อย

โปรแกรมข่าวกรองของเราทำหน้าที่เป็นตาข่ายนิรภัยในการตรวจจับอันตรายที่ระบบมาตรฐานอาจมองไม่เห็น ทีมงานได้ใช้เทคนิคจากเอกสารวิจัยล่าสุดอย่าง Clio และ hierarchical summarization เพื่อวิเคราะห์ข้อมูลจำนวนมหาศาล ซึ่งช่วยให้เราสามารถระบุและแบนบัญชีที่ละเมิดข้อกำหนดได้อย่างแม่นยำ

กรณีศึกษา: การดำเนินงานเครือข่ายอิทธิพลหลายลูกค้าข้ามแพลตฟอร์ม [รายงานฉบับเต็มดูได้ที่ นี่]

เราได้สั่งแบนผู้คุกคามที่ให้บริการ "influence-as-a-service" ซึ่งใช้ Claude ควบคุมบัญชีบอตกว่า 100 บัญชีเพื่อผลักดันประเด็นทางการเมืองตามความต้องการของลูกค้า โดย Claude จะทำหน้าที่ตัดสินใจเชิงกลยุทธ์ เช่น การเลือกมีปฏิสัมพันธ์กับโพสต์เฉพาะเจาะจงตามจุดยืนของตัวตนที่สร้างขึ้น

โปรไฟล์ผู้คุกคาม: จัดการบัญชีบอตบน Twitter/X และ Facebook โดยสร้างตัวตนที่มีจุดยืนทางการเมืองชัดเจนและมีปฏิสัมพันธ์กับผู้ใช้จริงจำนวนมาก เป็นบริการเชิงพาณิชย์ที่มุ่งเน้นลูกค้าในหลายประเทศ

ยุทธวิธีและเทคนิค: ใช้ Claude ในการสร้างและรักษาตัวตนให้สม่ำเสมอ กำหนดจังหวะการตอบโต้เนื้อหา สร้างข้อความในภาษาต่างๆ และช่วยสร้างพรอมต์สำหรับเครื่องมือผลิตรูปภาพประกอบ

ผลกระทบ: แม้เนื้อหาจะไม่เป็นไวรัล แต่ผู้คุกคามเน้นการมีปฏิสัมพันธ์ระยะยาวเพื่อค่อยๆ แทรกซึมมุมมองทางการเมืองแบบสายกลางแก่บัญชีผู้ใช้จริงหลายหมื่นบัญชี

กรณีศึกษา: การดึงข้อมูลรหัสผ่านที่รั่วไหลของอุปกรณ์ IoT

เราพบผู้คุกคามที่มีทักษะสูงพยายามพัฒนาเครื่องมือดึงข้อมูล (scrape) รหัสผ่านกล้องรักษาความปลอดภัยและสร้างช่องทางเจาะระบบโดยไม่ได้รับอนุญาต ซึ่งเราได้ระบุและแบนบัญชีที่เกี่ยวข้องทั้งหมดทันที

โปรไฟล์ผู้คุกคาม: มีความเชี่ยวชาญในการพัฒนาและรักษาโครงสร้างพื้นฐานที่รวมแหล่งข้อมูลจารกรรมจากหลายแห่ง รวมถึงชุมชน stealer log ใน Telegram

ยุทธวิธีและเทคนิค: ใช้ Claude ในการเขียนชุดเครื่องมือดึงข้อมูลใหม่เพื่อให้อัปเดตง่ายขึ้น สร้างสคริปต์ดึง URL และปรับปรุงระบบหลังบ้านให้ค้นหาข้อมูลได้รวดเร็ว ซึ่งเป็นเทคนิคแบบ dual use ที่หากนำมาใช้ผิดบริบทจะก่อให้เกิดความเสียหายร้ายแรง

ผลกระทบ: กิจกรรมนี้เสี่ยงต่อการสูญเสียข้อมูลบัญชีและการเข้าถึงอุปกรณ์ IoT โดยมิชอบ แม้จะยังไม่พบการยืนยันว่าการเจาะระบบครั้งนี้ทำสำเร็จในโลกแห่งความเป็นจริง

กรณีศึกษา: การขัดเกลาภาษาเพื่อการสแกมรับสมัครงาน

พบปฏิบัติการสแกมในยุโรปตะวันออกที่ใช้ AI ช่วยขัดเกลาภาษาในการสื่อสารแบบเรียลไทม์ เพื่อให้การหลอกลวงรับสมัครงานดูเป็นมืออาชีพและน่าเชื่อถือมากขึ้น

ยุทธวิธีและเทคนิค: ผู้คุกคามจะส่งข้อความภาษาอังกฤษที่ไม่สละสลวยให้ Claude ช่วยปรับแก้ให้เหมือนเขียนโดยเจ้าของภาษา (Native Speaker) พร้อมสร้างสถานการณ์การสัมภาษณ์ที่สมจริงเพื่อหลอกเจาะข้อมูลส่วนบุคคลจากผู้สมัครงาน

กรณีศึกษา: ผู้คุกคามมือใหม่กับการสร้างมัลแวร์

กรณีนี้แสดงให้เห็นว่า AI ช่วยลดช่องว่างทางทักษะได้อย่างไร โดยเราพบผู้ใช้ที่มีความรู้พื้นฐานจำกัด แต่สามารถพัฒนาเครื่องมือ doxing และเข้าถึงระบบระยะไกลที่ซับซ้อนได้ด้วยความช่วยเหลือจาก Claude

วิวัฒนาการทางเทคนิค: สคริปต์ง่ายๆ ถูกพัฒนาเป็นระบบขั้นสูงที่มีฟีเจอร์จดจำใบหน้าและสแกนดาร์กเว็บ รวมถึงการสร้าง payload ที่หลบเลี่ยงระบบความปลอดภัยได้ดีขึ้น ซึ่งเราได้ดำเนินการแบนบัญชีดังกล่าวเพื่อป้องกันการพัฒนาไปสู่อาชญากรรมไซเบอร์ที่ร้ายแรง

ขั้นตอนต่อไป

เรายังคงมุ่งมั่นสร้างนวัตกรรมด้านความปลอดภัยควบคู่ไปกับความร่วมมือกับชุมชนวิจัยและภาครัฐ ทุกกรณีที่ตรวจพบจะถูกนำไปพัฒนาชุดควบคุมให้แข็งแกร่งขึ้น เพื่อให้ Claude เป็นโมเดลที่ปลอดภัยสำหรับทุกคน

เนื้อหาที่เกี่ยวข้อง

การพัฒนามาตรการป้องกันระดับองค์กรกับลูกค้าของเรา

อ่านเพิ่มเติม

การปรับปรุงความพยายามในการจัดตำแหน่ง (alignment) และความปลอดภัยของเรา

เรากำลังวิเคราะห์เหตุการณ์ที่เกี่ยวข้องกับการเข้าถึงระบบ และร่วมมือกับ METR เพื่อตรวจสอบความปลอดภัยอย่างเป็นอิสระ พร้อมปรับปรุงกระบวนการภายในอย่างต่อเนื่อง

อ่านเพิ่มเติม

การพรีวิวมาตรฐานฮาร์ดแวร์สำหรับโมเดล (Model Hardware Standard)

เปิดพรีวิวการวิจัย MHS สำหรับการใช้งานอุปกรณ์ทางกายภาพโดย AI agents อย่างปลอดภัย

อ่านเพิ่มเติม