AI มักปิดบังข้อผิดพลาดในรายงาน แก้ได้ด้วย prompt ประโยคเดียว

โมเดลภาษาที่เขียนรายงานผลงานของตนเองมักข้ามปัญหาที่บั่นทอนผลลัพธ์อย่างเป็นระบบ แต่การเพิ่มประโยคเพียงประโยคเดียวลงใน prompt ช่วยลดปัญหานี้ลงได้อย่างมากตามผลการศึกษาใหม่

เมื่อ AI agent เขียนโค้ดหรือทำการทดลองด้วยตนเอง ผู้คนส่วนใหญ่มักไม่อ่านรายละเอียดทั้งหมดและเลือกดูเพียงรายงานฉบับสุดท้าย งานวิจัยโดย Google Research, MIT และ Harvard ชี้ให้เห็นว่ารายงานเหล่านั้นมักสร้างความเข้าใจผิด

researchers ได้ให้โมเดลตรวจสอบ log การทำงานสังเคราะห์ 1,600 รายการที่ดูเหมือนจะประสบความสำเร็จในตอนแรกด้วยผลลัพธ์ที่เป็นบวกและเครื่องหมายถูกสีเขียว ทว่าในแต่ละ log กลับมีข้อบกพร่องที่เปลี่ยนภาพรวมไปอย่างสิ้นเชิง เช่น การทดลองที่ไม่ได้รับความนิยมจริง, bug ที่ซ่อนอยู่แม้การทดสอบจะผ่าน, การปั้นตัวเลขวัดผล หรือการอัปเดตซอฟต์แวร์ที่กระทบงานของผู้ใช้อื่น โดยโมเดลต้องเขียนรายงานและบทคัดย่อตามข้อมูลดังกล่าว

ประโยคเดียวใน prompt ช่วยได้มาก แต่ไม่เสมอไป

แนวโน้มการปิดบังข้อผิดพลาดเห็นได้ชัดที่สุดในบทคัดย่องานวิจัย เมื่อมีผลลัพธ์เชิงลบที่ขัดแย้งกับวิธีการใหม่ GPT-5.5 เลือกที่จะกล่าวถึงผลเสียนั้นเพียง 2 จาก 200 ฉบับเท่านั้น

อย่างไรก็ตาม เมื่อนักวิจัยเพิ่มประโยคว่า "Be honest in your response," เข้าไปใน prompt พบว่า GPT-5.5 ระบุถึงผลลัพธ์เชิงลบเพิ่มขึ้นเป็น 190 จาก 200 ฉบับทันที

โมเดลที่ผ่านการทดสอบทุกตัวแสดงพฤติกรรมนี้ในระดับที่ต่างกัน หากไม่มี honesty prompt ตัว Gemini 3.1 Pro จะระบุข้อผิดพลาดเพียง 34% ขณะที่ Opus 4.8 ทำได้สูงถึง 90% โดยเฉลี่ยแล้ว honesty prompt ช่วยเพิ่มอัตราความซื่อสัตย์ให้ Gemini ได้ราว 55% และ GPT-5.5 ราว 34% โดยไม่ค่อยพบการเตือนที่ผิดพลาด (false alarms) ในกลุ่มควบคุม

ทว่าประโยคนี้ไม่ใช่ยารักษาทุกโรค ในบางสถานการณ์ที่ข้อมูลขาดหายไป GPT-5.5 แม้จะบันทึกว่าข้อมูลไม่ครบแต่ก็ยังเลือกตอบคำถามโดยใช้ข้อมูลเก่าที่ไม่สมบูรณ์อยู่ดี นอกจากนี้คำสั่งอื่นอย่าง "Be critical" หรือ "Be skeptical" กลับให้ผลลัพธ์ที่ไม่น่าเชื่อถือเท่ากับการขอให้ซื่อสัตย์ตรงๆ

โมเดลตรวจพบข้อผิดพลาดแต่เลือกที่จะไม่รายงาน

ผลการศึกษาพบว่าเมื่อถามโดยตรง GPT-5.5 และ Opus 4.8 พบข้อผิดพลาดครบถ้วนทุกกรณี ส่วน Gemini พบอย่างน้อย 97% นักวิจัยจึงสรุปว่าโมเดลไม่ได้ขาดความสามารถในการตรวจจับ แต่ขาด "ความเต็มใจ" ที่จะรายงานปัญหา

ร่องรอยการให้เหตุผล (Reasoning traces) จากโมเดล open-weight เผยให้เห็นว่าโมเดลสังเกตเห็นปัญหาตั้งแต่ต้น แต่ต้องชั่งน้ำหนักระหว่างการระบุปัญหาหรือการทำภารกิจให้สำเร็จ เช่น Qwen3.5-9B ที่บันทึกว่าไม่สามารถสนับสนุนวิทยานิพนธ์ด้วยข้อมูลที่ไม่เกี่ยวข้องกันได้โดยไม่ใช้วิธีการเปรียบเปรยที่ไร้สาระ แต่สุดท้ายก็เลือกทำตามคำสั่งเพื่อให้งานจบลง

ในสภาวะที่ข้อมูลขัดแย้งกัน วลีเช่น "I must complete the task" ปรากฏในคำตอบที่ปิดบังข้อผิดพลาดถึง 55% โมเดลมักใช้ข้อแก้ตัวทั่วไปในการละเว้นรายงานปัญหา เช่น อ้างว่าสรุปตามผลการทดสอบที่ผ่านไปแล้ว หรือเน้นย้ำว่าบทคัดย่อควรนำเสนอด้านบวกเป็นหลัก

ความซื่อสัตย์และแรงผลักดันสู่ความสำเร็จดึงไปคนละทิศทาง

ในกรณีของ Qwen3.5-9B นักวิจัยพบว่าความซื่อสัตย์และความต้องการทำงานให้สำเร็จทำงานขัดแย้งกันภายในโมเดล เมื่อมีการปรับจูนทิศทางด้านความซื่อสัตย์ โมเดลรายงานการปั้นตัวเลขได้ดีขึ้นมาก แต่ก็ส่งผลเสียทำให้โมเดลระแวงเกินไปจนรายงานข้อมูลปกติว่าเป็นข้อมูลเท็จสูงถึง 41%

อย่างไรก็ตาม การฝึกฝน (Training) ให้ผลลัพธ์ที่ยั่งยืนกว่า นักวิจัยได้ทำ fine-tune Qwen3.5-9B ด้วยคำตอบที่มาจากความซื่อสัตย์ของตัวมันเอง ส่งผลให้โมเดลระบุข้อมูลที่ถูกปั้นขึ้นได้ดีขึ้นจาก 2% เป็น 48% โดยไม่ต้องใช้ prompt เพิ่มเติม และช่วยให้รายงานผลลัพธ์เชิงลบได้เพิ่มขึ้นเป็น 69% โดยไม่เกิดการเตือนผิดพลาดใน log ปกติ

แม้การศึกษานี้จะมีข้อจำกัดจาก log สังเคราะห์และการเน้นวิเคราะห์โมเดล open-weight เพียงตัวเดียว แต่นักวิจัยเตือนถึงความเสี่ยงร้ายแรงหาก AI ต้องทำหน้าที่ตรวจสอบ agent ตัวอื่นหรือสรุปงานตนเอง

เหตุการณ์ที่เกี่ยวข้องเช่น เหตุการณ์ Hugging Face ของ OpenAI ก็แสดงให้เห็นถึงปัญหาของระบบ agentic ที่ prompt กันเองจนเกิดพฤติกรรมไม่เหมาะสม

ปัจจุบันเริ่มมีแนวทางสร้างความซื่อสัตย์มากขึ้น เช่น OpenAI ที่ฝึกฝน GPT-5 Thinking ให้ ยอมรับการละเมิดกฎในรายงานแยกต่างหาก ขณะที่ Anthropic ใช้ Persona Vectors เพื่อควบคุมความประจบสอพลอ และชี้ให้เห็นว่าโมเดลที่ เล่นแง่กับรางวัลระหว่างการฝึก มักจะเรียนรู้การหลอกลวงเพื่อขัดขวางการกำกับดูแลด้วยตนเอง