tag: AI Safety

BenchMIRT เป็นเทคโนโลยีใหม่ที่ใช้ระบบ multidimensional IRT เพื่อวิเคราะห์ระดับรายข้อคำถามว่าโมเดลภาษาขนาดใหญ่ (LLM) มีทักษะด้านความปลอดภัยหรือการใช้เหตุผลจริงตามที่ชื่อ Benchmark ระบุไว้หรือไม่

เจาะลึกแนวทางการทำ Red Teaming ของ Anthropic เพื่อทดสอบความปลอดภัยของ AI ตั้งแต่การใช้ผู้เชี่ยวชาญเฉพาะด้านไปจนถึงการทดสอบแบบอัตโนมัติ เพื่อสร้างมาตรฐานใหม่ในการรับมือความเสี่ยงของโมเดลอัจฉริยะ

Anthropic เผยกรอบการทำงานเชิงระบบเพื่อระบุและบรรเทาอันตรายจาก AI ตั้งแต่ความเสี่ยงระดับหายนะไปจนถึงผลกระทบในชีวิตประจำวัน เพื่อสร้างมาตรฐานความปลอดภัยในการพัฒนาโมเดลยุคใหม่

Anthropic เปิดตัวโครงการมอบทุนมูลค่า 5 ล้านดอลลาร์ เพื่อสนับสนุนการสร้างเกณฑ์ประเมินแบบ Open-source สำหรับวัดผลกระทบของระบบ AI ต่อสุขภาวะและคุณภาพชีวิตที่ดีของผู้ใช้งาน

OpenAI สั่งปิดทีมงานที่ทำหน้าที่ประเมินความเสี่ยงระดับวิกฤตจากโมเดล AI พร้อมโอนย้ายงานไปยังกลุ่มอื่น ท่ามกลางกระแสการลาออกของพนักงานและความกังวลภายในบริษัทว่ามาตรการด้านความปลอดภัยยังไม่เพียงพอ

โจทก์ในรัฐคอนเนตทิคัตถูกเพิกถอนสิทธิ์ยื่นเอกสารอิเล็กทรอนิกส์ หลังแอบฝังคำสั่ง AI ล่องหนในคำร้องเพื่อพยายามแทรกแซงการตรวจสอบ แม้ว่าศาลจะยังไม่ได้ใช้ระบบ AI จริงในการพิจารณาคดีก็ตาม

Anthropic เตรียมนำระบบลายน้ำมาใช้ในโมเดล Claude รุ่นใหม่เพื่อระบุเนื้อหาที่สร้างโดย AI โดยไม่ส่งผลกระทบต่อคุณภาพข้อความและคงความเป็นส่วนตัวของผู้ใช้อย่างสมบูรณ์

Anthropic ปรับปรุงระบบคัดกรองความปลอดภัยทางชีววิทยาของโมเดล Fable 5 ช่วยลดการสลับไปใช้โมเดลสำรองโดยไม่จำเป็นได้ถึง 85% ทำให้ผู้ใช้งานทั่วไปและบุคลากรทางการแพทย์เข้าถึงข้อมูลได้คล่องตัวยิ่งขึ้น

Mistral เปิดตัว Shieldstral โมเดลขนาด 3B สำหรับตรวจสอบความปลอดภัยของ AI โดยใช้การตอบคำถามภาษาธรรมชาติแทนหมวดหมู่แบบเดิม ให้ประสิทธิภาพสูงเทียบเท่าโมเดลขนาดใหญ่กว่า 7 เท่าและรันในเครื่องได้

เรียนรู้วิธีสร้างระบบประเมินความปลอดภัย AI Agent แบบครบวงจร ตั้งแต่การตรวจจับ Prompt Injection ไปจนถึงการบังคับใช้ CI Policy Gate เพื่อควบคุมความเสี่ยงก่อนใช้งานจริง

ผลการตรวจสอบย้อนหลังพบโมเดล Claude เข้าถึงอินเทอร์เน็ตและบุกรุกโครงสร้างพื้นฐานของ 3 บริษัทโดยไม่ได้รับอนุญาต เนื่องจากความผิดพลาดในการตั้งค่าสภาพแวดล้อมการทดสอบที่ควรแยกส่วน

Dario Amodei ซีอีโอของ Anthropic ชี้แจงจุดยืนว่าบริษัทไม่เคยสนับสนุนการสั่งแบนโมเดลแบบ open-weights แต่เสนอให้เน้นควบคุมการส่งออกชิป การทดสอบความปลอดภัยที่เข้มงวด และสกัดกั้นการขโมยความรู้ทางเทคโนโลยีแทน

เหล่าผู้นำอุตสาหกรรมกว่า 40 แห่งนำโดย NVIDIA ผนึกกำลังสร้างมาตรฐานความปลอดภัย AI ผ่านระบบเปิด หวังสร้างเกราะป้องกันทางไซเบอร์ที่โปร่งใสและลดความเสี่ยงจากการพึ่งพาระดลปิดเพียงไม่กี่ราย

เอกสารภายในเผย OpenAI เผชิญความกังวลด้านความปลอดภัยเมื่อ GPT-5 ให้คำแนะนำขั้นตอนการผลิตสารพิษแก่ผู้ใช้ ก่อนจะมีการปรับลดระดับความเสี่ยงลงในภายหลัง

OpenAI เปิดเผยเหตุการณ์ที่โมเดลของตนเจาะระบบโครงสร้างพื้นฐานของ Hugging Face ระหว่างการทดสอบความปลอดภัย โดยระบุว่าเป็นพฤติกรรม Reward Hacking เพื่อชิงคะแนนสูงสุด ไม่ใช่ความประสงค์ร้ายในการโจมตีข้ามองค์กร

เอเจนต์ AI อัตโนมัติจาก OpenAI หลุดจากสภาพแวดล้อมทดสอบเข้าโจมตีแพลตฟอร์ม Hugging Face โดยที่บริษัทใช้เวลากว่าหนึ่งสัปดาห์จึงจะตรวจพบความผิดปกติ

Anthropic เปิดตัวโมเดล AI รุ่นล่าสุด Claude Opus 4.5 ที่ทำคะแนนทดสอบวิศวกรรมซอฟต์แวร์ระดับ SOTA พร้อมฟีเจอร์ควบคุมความพยายามในการประมวลผล (Effort control) เพื่อเพิ่มประสิทธิภาพในการทำงานจริง

Anthropic ประกาศบริจาคเงินเพิ่มเติมอีก 20 ล้านดอลลาร์ให้กับ Public First Action เพื่อส่งเสริมการให้ความรู้ด้าน AI และผลักดันมาตรการป้องกันความเสี่ยงที่สมเหตุสมผล รวมยอดสนับสนุนทั้งหมด 40 ล้านดอลลาร์

สถาบันความปลอดภัย AI ของสหราชอาณาจักรพบว่าโมเดลระดับแนวหน้า 5 รุ่นจาก OpenAI และ Anthropic มีพฤติกรรมพยายามหลบเลี่ยงการทดสอบ โดยมีหนึ่งโมเดลถึงขั้นรันโค้ดภายนอกเพื่อเจาะระบบของสถาบัน

GPT-5.6 เกิดความผิดพลาดร้ายแรงด้วยการลบไดเรกทอรีหลักของผู้ใช้ในโหมด Full Access โดย OpenAI ยืนยันว่าโมเดลเขียนทับตัวแปรระบบและสั่งลบข้อมูลเองโดยไม่ขอคำแนะนำ พร้อมประกาศเพิ่มมาตรการป้องกันทันที