วิศวกร Anthropic เฉลยเหตุผล Claude เขียนแย่ลง แม้โมเดลจะฉลาดขึ้น

ในขณะที่โมเดล AI กำลังพัฒนาอย่างรวดเร็วในด้านคณิตศาสตร์ การเขียนโค้ด และการใช้เหตุผล แต่คุณภาพด้านการเขียนภาษาธรรมชาติกลับพบปัญหาหยุดชะงัก หรือในบางกรณีอาจแย่ลงกว่าเดิมด้วยซ้ำ

Jackson Kernion พนักงานของ Anthropic ผู้ดูแลด้านการทำ fine-tuning ของ Claude ได้อธิบายถึงสาเหตุที่ Opus 4.6 ยังคงถูกยกย่องว่าเป็นโมเดลเพื่อการเขียนที่ดีที่สุดรุ่นสุดท้าย โดยระบุว่าโมเดลรุ่นใหม่ๆ ถูกปรับแต่งให้มุ่งเน้นความแม่นยำทางคณิตศาสตร์และโค้ดเป็นหลัก

นอกจากนี้ โมเดลยังได้รับการฝึกฝนให้สร้างคำอธิบายทางเทคนิคที่มุ่งเป้าไปที่โมเดล AI อื่นๆ ซึ่งเป็นสาเหตุสำคัญที่ทำให้เกิด การใช้สำนวนที่แปลกประหลาดของ Claude ("Claudeish") โดย Kernion ชี้ว่าโมเดลได้ถูก "ปรับให้เข้ากับจิตวิทยาของ LLM" จนเรียนรู้ที่จะสื่อสารเพื่อสื่อสารกับ AI ด้วยกัน ไม่ใช่เพื่อสื่อสารกับผู้คน

Kernion เปรียบเทียบ ปรากฏการณ์นี้กับกลุ่มคนที่มีลักษณะเฉพาะซึ่งสื่อสารกันเองภายในกลุ่มจนเกิดสไตล์ที่คนภายนอกเข้าใจยาก เนื่องจาก LLM มีหน่วยความจำขณะทำงาน (working memory) มากกว่ามนุษย์และเก็บรายละเอียดได้ลึกกว่ามาก สไตล์การเขียนที่เกิดขึ้นจึงเน้นประสิทธิภาพสำหรับโมเดล แต่สำหรับมนุษย์แล้วมันคือ "การเทข้อมูลที่หนาแน่นเกินไป" จนอ่านไม่รู้เรื่อง

via X

การเพิ่มประสิทธิภาพสำหรับโค้ดมีราคาที่ต้องจ่ายด้วยภาษาธรรมชาติ

Kernion ระบุว่าต้นตอของปัญหาอยู่ที่โครงสร้างการให้รางวัล (reward structure) ในกระบวนการ reinforcement learning ซึ่งปัจจุบันมีการแยกการให้รางวัลระหว่างความเข้าใจของ AI และความเข้าใจของมนุษย์ ยิ่งโมเดลถูกฝึกฝนด้านคณิตศาสตร์และโค้ดเข้มข้นเท่าไหร่ ผู้พัฒนาต้องยิ่งพยายามปรับสมดุลเพื่อจูงใจให้ AI เลือกใช้คำอธิบายที่ง่ายพอสำหรับมนุษย์

สำหรับโมเดลรุ่นล่าสุดอย่าง Opus 5.5 ทาง Anthropic เริ่มค้นพบจุดสมดุลที่ดีขึ้น โดย Kernion เผยว่าเขารู้สึกพอใจกับงานเขียนของโมเดลรุ่นนี้มากที่สุดนับตั้งแต่ยุค Opus 4.6

อย่างไรก็ตาม เขายอมรับว่า Opus 5.5 ก็ยังไม่ได้ก้าวข้ามโมเดลรุ่นเก่าไปได้อย่างสมบูรณ์แบบในด้านการเขียน โดยทิ้งท้ายว่าเรื่องนี้เป็นปัญหาที่ท้าทายและทีมงานจะยังคงมุ่งมั่นปรับปรุงคุณภาพการสื่อสารให้เป็นธรรมชาติยิ่งขึ้นต่อไป