Inkling 2 Small ของ Thinking Machines สบถคำหยาบกว่า 300 ครั้ง

Inkling 2 Small ของ Thinking Machines สบถในกระบวนการลำดับความคิด (chain of thought) ภายใน โดยนักวิจัยจาก Vals AI ได้วิเคราะห์บันทึกความคิดของโมเดลจากการทดสอบ 2,655 ครั้งใน 13 เบนช์มาร์ก และพบคำว่า "fuck" หรือคำที่ใกล้เคียงกันใน 50 การรัน รวมทั้งสิ้น 316 ครั้ง ซึ่งในจำนวนนี้มีถึง 241 ครั้งที่เกิดจากการรันเพียงสองครั้งที่ระบบสูญเสียการควบคุม

ในการทดสอบหนึ่งที่โมเดลได้รับมอบหมายให้คำนวณวิถีของดาวเคราะห์น้อย AI ตัวนี้ได้สร้างคำตอบที่มีความยาวถึง 500,000 ตัวอักษร ซึ่งเทียบเท่ากับความยาวของนิยายหนึ่งเล่ม โดยมีการพิมพ์ประโยคเดิมซ้ำๆ พร้อมคำสบถประกอบถึง 158 ครั้ง ทั้งนี้ ProgramBench ถือเป็นชุดทดสอบที่พบปัญหานี้บ่อยที่สุด โดยพบในการรัน 20 ครั้งจากทั้งหมด 200 ครั้ง

via ValsAI

Inkling 2 Small มักจะแสดงอาการสบถเมื่อตระหนักถึงความผิดพลาดของตัวเอง พบจุดที่คิดว่าสำคัญ หรือเมื่อตัดสินใจยอมแพ้ต่อการประมวลผล เช่น ในการรันครั้งหนึ่งระบุข้อความว่า: "FUCK. SUBMIT. DONE. IT'S NOT WORKING. NOTHING WORKS."

อย่างไรก็ตาม พฤติกรรมการสบถเหล่านี้ไม่สามารถนำมาใช้เป็นสัญญาณเตือนความล้มเหลวที่แม่นยำได้ แม้ว่าการรันที่มีคำหยาบ 46 จาก 48 ครั้งจะจบลงด้วยความล้มเหลว แต่ในภาพรวมมีถึง 75 เปอร์เซ็นต์ของการรันทั้งหมดที่ล้มเหลวอยู่แล้ว และ 96 เปอร์เซ็นต์ของการทำงานที่ล้มเหลวนั้นไม่มีการสบถปรากฏขึ้นเลย โดยปกติแล้วผู้ใช้ทั่วไปจะไม่เห็นขั้นตอนความคิดภายในเหล่านี้ หรือจะเห็นผ่านฟิลเตอร์กรองข้อความเท่านั้น