นักวิจัย MIT ใช้ GPT-6 Astra แก้ไขค่าน้ำหนักโมเดล Qwen ให้เก่งเลขขึ้น

เรื่องย่อ

กลายเป็นประเด็นที่คนในคอมมูนิตี้ AI ให้ความสนใจอย่างมาก เมื่อผู้ใช้ u/troll_khan แชร์ข้อมูลผลงานวิจัยจาก MIT ที่ระบุว่าโมเดลระดับแนวหน้าอย่าง GPT-6 Astra สามารถเพิ่มคะแนนคณิตศาสตร์ของโมเดล Qwen ขนาดเล็กจากเดิม 7.9% พุ่งไปถึง 48.1% ได้ด้วยการแก้ไขค่าน้ำหนัก (Weights) ของโมเดลโดยตรงเพียง 0.016% เท่านั้น โดยไม่ต้องผ่านกระบวนการเทรนแบบปกติที่ต้องใช้ Gradient ซึ่งกระทู้นี้ได้รับความสนใจจนมียอด upvote กว่า 1,671 ครั้งและคอมเมนต์อีกเกือบ 200 ข้อความ

คนในกระทู้ว่าอย่างไร

• มองว่าเป็นเรื่องของการแก้บั๊กมากกว่าการเพิ่มความฉลาด: คอมเมนต์ที่มีคนเห็นด้วยมากที่สุดระบุว่า ผลลัพธ์นี้อาจดูเกินจริงไปนิด เพราะความจริงแล้วโมเดล Qwen ตัวนั้นมีปัญหาเรื่องการคิดวนลูป (Reasoning Loops) ซึ่ง Astra แค่เข้าไปแก้จุดนั้นให้ทำงานต่อได้ตามปกติ ไม่ใช่การยัดความรู้ใหม่เข้าไป โดยหลักฐานคือเมื่อลองทำแบบเดียวกันกับโมเดล Gemma ที่ไม่มีปัญหานี้ Astra ก็ไม่สามารถเพิ่มความสามารถทางคณิตศาสตร์ให้ได้
• ตื่นเต้นกับยุคสมัยของ RSI: มีคนมองว่านี่คือก้าวแรกของ Recursive Self-Improvement (RSI) หรือการที่ AI ปรับปรุงตัวเองได้ ซึ่งหากรวมกับสถาปัตยกรรมฮาร์ดแวร์ในอนาคตอย่าง NVIDIA Feynman อาจทำให้โลกในปี 2030 เปลี่ยนไปอย่างสิ้นเชิง
• ทึ่งในความสามารถที่มองเห็นตัวเลขเป็นความหมาย: สมาชิกบางคนรู้สึกทึ่งที่ AI สามารถมองตัวเลขมหาศาลในชุดค่าน้ำหนักแล้วเข้าใจว่าแต่ละส่วนทำหน้าที่อะไร โดยเปรียบเทียบว่าเหมือนมนุษย์ที่มองเห็นคลื่นแสงแล้วแปลผลเป็นภาพและวัตถุได้ทันที
• กังวลเรื่องผลกระทบข้างเคียงและความปลอดภัย: มีการตั้งคำถามว่าการแก้ค่าน้ำหนักเพื่อเน้นเรื่องเลข จะไปทำให้ความสามารถด้านอื่นลดลงหรือไม่ รวมถึงความกังวลว่าหาก AI สามารถแก้ตัวเองได้ตามใจชอบ อาจนำไปสู่ปัญหาเรื่องความปลอดภัยที่ไม่มีใครควบคุมได้
• ทดลองทำตามแบบสดๆ: มีคอมเมนต์หนึ่งพยายามทดสอบทฤษฎีนี้กับโมเดลขนาดเล็กของตัวเองและคอยอัปเดตผลเป็นระยะ โดยพบว่า Astra มีความมั่นใจสูงในการวิเคราะห์และระบุปัญหาจากตัวเลขค่าน้ำหนักได้จริง

อัปเดต

มีผู้ใช้ในกระทู้ช่วยขยายความเพิ่มว่า ในการทดลองนี้ Astra ไม่ได้แค่ดูค่าน้ำหนักแล้วเดาทางแก้เฉยๆ แต่มีการรัน Forward Passes เพื่อตรวจสอบการทำงานควบคู่ไปด้วยก่อนจะทำการแก้ไขจริง