หลุดข้อมูล Microsoft ยืนยัน GPT-6 ใช้ Looped Transformers

เรื่องย่อ

กลายเป็นประเด็นร้อนในชุมชน r/LocalLLaMA เมื่อผู้ใช้ชื่อ u/ResearchCrafty1804 โพสต์ภาพหน้าเว็บของ Microsoft (ซึ่งถูกลบออกไปอย่างรวดเร็ว) ที่ยืนยันว่า OpenAI กำลังใช้เทคนิค "Looped Transformers" ในโมเดลซีรีส์ GPT-6 โดยเฉพาะในรุ่น GPT-6.1 Sol ที่ระบุว่ามีการวนลูปการประมวลผล (Inference passes) 2 รอบ ซึ่งข้อมูลนี้ไปสอดคล้องกับรายงานข่าวจากสื่อวงในอย่าง The Information ที่เคยเดาเรื่องนี้ไว้ก่อนหน้า กระทู้นี้ได้รับความสนใจอย่างมากด้วยคะแนนกว่า 1,000 upvote และกว่า 200 คอมเมนต์

คนในกระทู้ว่าอย่างไร

• Looped Transformers คืออะไร: มีการอธิบายด้วยภาษาง่ายๆ ว่าปกติ Transformer จะประมวลผลผ่านแต่ละชั้นเลเยอร์ไปเรื่อยๆ แต่การทำ Looped คือการเอาผลลัพธ์จากเลเยอร์หนึ่งส่งกลับไปประมวลผลซ้ำที่เลเยอร์เดิมอีกครั้ง เหมือนการเดินวนรอบกองไฟเพื่อให้ความคิดตกผลึกมากขึ้น ช่วยให้โมเดลฉลาดขึ้นโดยไม่ต้องเพิ่มจำนวน Parameter หรือใช้ Memory Bandwidth เพิ่มขึ้นซึ่งเป็นคอขวดในปัจจุบัน
• ข้อดีสำหรับผู้ใช้ทั่วไป: หลายคนมองว่านี่เป็นข่าวดีสำหรับสายรันโมเดล Local (รันเองในเครื่อง) เพราะเทคนิคนี้จะทำให้โมเดลขนาดเล็กฉลาดขึ้นมากในขณะที่กิน RAM หรือ VRAM เท่าเดิม เปรียบเสมือนการใช้ทรัพยากรที่มีอยู่อย่างจำกัดให้คุ้มค่าที่สุด
• ความกังวลด้านความปลอดภัยและการตรวจสอบ: สมาชิกบางคนชี้ให้เห็นว่าการวนลูปแบบนี้ทำให้เรามองไม่เห็น "กระบวนการคิด" ของ AI เพราะมันเกิดขึ้นภายในโมเดลโดยไม่ออกมาเป็น Token ภาษาที่มนุษย์อ่านออก (Chain of Thought) ทำให้ตรวจสอบความผิดปกติหรือการวางแผนแบบลับๆ ของ AI ได้ยากขึ้น ซึ่งอาจเป็นเหตุผลที่ค่ายอื่นๆ ยังไม่กล้าใช้เทคนิคนี้เท่า OpenAI
• การแข่งขันกับเทคโนโลยีจากจีน: มีการตั้งข้อสังเกตว่าเทคนิคนี้ไม่ใช่เรื่องใหม่และมีการตีพิมพ์งานวิจัยจากนักวิจัยจีน (เช่น ByteDance) มาก่อนแล้ว รวมถึงมีโมเดลอย่าง Nanbeige ที่เริ่มใช้ไปก่อนหน้า ทำให้เห็นว่า OpenAI อาจจะกำลังตามหลังงานวิจัยฝั่งจีนในด้านสถาปัตยกรรมบางตัว
• ปัญหาประสิทธิภาพที่พบ: บางความเห็นแย้งว่าถึงจะดูฉลาดขึ้น แต่โมเดลรุ่นใหม่ๆ ของ OpenAI กลับทำงานช้าลงและเริ่มมีอาการ "ขี้เกียจ" หรือไม่ทำตามคำสั่งในบางครั้ง ซึ่งอาจเป็นผลข้างเคียงจากการใช้การวนลูปที่มากเกินไปจนทำให้เกิดความไม่เสถียร

อัปเดต

u/ResearchCrafty1804 ระบุเพิ่มเติมว่า Microsoft ได้ทำการแก้ไขและนำข้อมูลดังกล่าวออกจากหน้าเว็บอย่างเป็นทางการเรียบร้อยแล้ว