นักวิจัย Princeton เสนอ RLT สถาปัตยกรรม Transformer แบบวนซ้ำเพื่อการใช้เหตุผลที่ลึกซึ้งยิ่งขึ้น

ในโมเดลภาษาขนาดใหญ่ (LLM) แบบ decoder-only ทั่วไป ข้อมูลที่คำนวณในเลเยอร์สุดท้ายของ Token ปัจจุบันมักจะไม่ถูกส่งต่อไปยังเลเยอร์แรกของ Token ถัดไปโดยตรง แต่จะสื่อสารกันผ่าน Attention ของค่า Keys และ Values ที่แคชไว้เท่านั้น ล่าสุด Yifan Zhang นักวิจัยจาก Princeton ได้นำเสนอรายงานทางเทคนิคเรื่อง Recurrent Looped Transformer (RLT) เพื่อแก้ปัญหานี้

RLT เสนอการปิดลูปการทำงานโดยส่งต่อ Hidden State สุดท้ายของ Decoder และ Layerwise Sliding-Window Attention (SWA) Cache ไปยัง Token ถัดไปอย่างต่อเนื่อง ทั้งในส่วนของ Prompt และ Response โดยไม่มีการรีเซ็ตข้อมูลที่ขอบเขตการให้บริการ อย่างไรก็ตาม งานวิจัยนี้ยังเป็นเพียงข้อกำหนดการออกแบบ (Design Specification) ซึ่งระบุถึงสถาปัตยกรรมและหลักการประมวลผล โดยยังไม่มีรายงานผลด้านประสิทธิภาพหรือผลการทดสอบการใช้งานจริงในขณะนี้

RLT ถูกสร้างขึ้นอย่างไร

Recurrent Looped Transformer (RLT) ทำงานโดยจับคู่ Causal Encoder เข้ากับ Recurrent Decoder โดยตัว Encoder จะประมวลผล Token แบบขนานและสร้าง Representation เพื่อนำไปใช้เป็นหน่วยความจำ (Key-Value Memory) ซึ่งสามารถเลือกได้ว่าจะแชร์ข้ามเลเยอร์ของ Decoder หรือแยกเฉพาะเลเยอร์

ในส่วนของ Decoder จะทำหน้าที่เก็บการวนซ้ำ (Recurrence) ของสถานะข้อมูล โดยในแต่ละ Token จะมีการรวมข้อมูลระหว่างผลลัพธ์จาก Encoder กับสถานะก่อนหน้า จากนั้นแต่ละบล็อกของ Decoder จะรันกระบวนการ Attention เหนือข้อมูลเดิมและข้อมูลใหม่ร่วมกับ Feed-Forward Network (FFN) การทำงานนี้ช่วยให้ระบบสามารถเก็บข้อมูลย้อนหลังได้สูงสุดตามขนาดหน้าต่างที่กำหนด และจะมีการเริ่มต้นสถานะเพียงครั้งเดียวก่อนเริ่มประโยค (BOS)

สำหรับการกำหนดค่าอ้างอิงแบบ Tied จะใช้ Encoder และ Decoder อย่างละ 48 เลเยอร์ ซึ่งมีการแชร์น้ำหนักพารามิเตอร์ร่วมกัน ทำให้แต่ละ Token ประมวลผลผ่านบล็อกตรรกะรวม 96 บล็อก แม้จำนวนการคำนวณ (FLOPs) ของแต่ละบล็อกจะไม่เท่ากันเนื่องจากมีขั้นตอน Cross-attention เพิ่มเข้ามา แต่ Zhang เรียกกระบวนการนี้ว่าเป็นการนำพารามิเตอร์มาใช้ซ้ำ (Parameter Reuse) แทนที่จะเป็นการคัดลอกข้อมูลการทำงานเฉยๆ

หลักการออกแบบ 3 ประการ

Latent reasoning with unbounded temporal depth: เมื่อประมวลผลผ่านไป t tokens เส้นทางของสถานะข้อมูลจะเดินทางผ่านบล็อก Decoder จำนวนมหาศาล (เช่น 48t บล็อกในรุ่นอ้างอิง) แม้ภาระงานต่อ Token จะคงที่ แต่ความลึกเชิงโครงสร้างจะเติบโตขึ้นเรื่อยๆ อย่างไรก็ตาม รายงานเตือนว่าการใช้ Gate อาจทำให้การส่งต่อข้อมูลในระยะยาวถดถอยได้ ความลึกเชิงโครงสร้างจึงไม่ใช่เครื่องการันตีคุณภาพการใช้เหตุผลเสมอไป

Model-hardware co-design: การประมวลผลของ Encoder จะใช้ Kernel แบบขนานเพื่อความรวดเร็ว ในขณะที่การเปลี่ยนสถานะของ Decoder ยังคงเป็นแบบลำดับ (Sequential) ภายในลำดับเดียวกัน แต่สามารถประมวลผลหลายลำดับพร้อมกันได้แบบ Batch รายงานระบุชัดเจนว่ายังไม่มีการใช้เทคนิค Parallel Scan สำหรับ Decoder ที่มีความซับซ้อน และยังไม่มีการยืนยันเรื่องความเร็วที่เพิ่มขึ้นจากการลดขั้นตอน Prefill ในตอนนี้

Model-RL algorithm co-design: กระบวนการฝึกฝนทั้ง Pretraining, SFT และ RL Replay จะใช้การเปลี่ยนสถานะรูปแบบเดียวกันทั้งหมด โดยในการทำ RL ตัวระบบจะสร้างหน่วยความจำและสถานะการวนซ้ำใหม่ทั้งหมดจากจุดเริ่มต้นภายใต้พารามิเตอร์ปัจจุบันก่อนให้คะแนนการกระทำ (Action) เพื่อความแม่นยำสูงสุดโดยไม่นำสถานะเก่ามาใช้ซ้ำ

การฝึกฝนและการให้บริการ (Training and Serving)

การฝึกฝนช่วง Pretraining จะเป็นการทำ Next-token Prediction แบบเต็มลำดับพร้อมการคำนวณย้อนกลับ (Backpropagation Through Time) ตลอดทั้งสาย ส่วนการทำ SFT จะมีการปิดบัง Loss ในส่วนที่เป็นเป้าหมายของ AI แต่ยังคงปล่อยให้มีการอัปเดตสถานะผ่าน Token ของผู้ใช้และเครื่องมือต่างๆ เพื่อรักษาความต่อเนื่องของข้อมูล

สำหรับการให้บริการแบบหลายรอบ (Multi-turn Serving) โมเดลจะเก็บภาพจำลอง (Snapshot) ของข้อมูลเดิมไว้ ทั้งค่า Cache ของ Encoder, สถานะ Decoder ที่สมบูรณ์ และตำแหน่งต่างๆ ซึ่ง Snapshot นี้สามารถนำกลับมาใช้ซ้ำได้ทันทีหากน้ำหนักพารามิเตอร์ของโมเดลไม่มีการเปลี่ยนแปลง ช่วยให้การสนทนาต่อเนื่องเป็นไปอย่างราบรื่น

ความเกี่ยวข้องกับงานวิจัยก่อนหน้า

สถาปัตยกรรม RLT มีจุดเชื่อมโยงกับงานวิจัยหลายชิ้น เช่น ระบบหน่วยความจำที่คล้ายกับ YOCO และการจัดการ KV Cache แบบ DeepSeek-V4.1-Flash นอกจากนี้ยังต่อยอดการตอบสนองเชิงเวลามาจาก Feedback Transformer และ Recurrent Transformer โดยเน้นไปที่การส่งต่อผลลัพธ์สุดท้ายเข้าสู่ Decoder ถัดไปโดยตรง

สรุปประเด็นสำคัญ

• RLT ส่งต่อสถานะ Decoder ทั้งหมดข้ามทุก Token โดยไม่มีการรีเซ็ตข้อมูล เพื่อรักษาความต่อเนื่องของบริบท
• ใช้โครงสร้าง Encoder และ Decoder แบบ Tied รวม 96 บล็อกตรรกะต่อ Token ช่วยให้เส้นทางข้อมูลมีความลึกมหาศาล
• ออกแบบมาเพื่อรองรับการทำงานร่วมกับฮาร์ดแวร์และการฝึกฝนด้วย Reinforcement Learning (RL) ที่แม่นยำ
• ปัจจุบันยังเป็นข้อเสนอทางทฤษฎี โดยต้องรอการตรวจสอบผลด้านประสิทธิภาพและคุณภาพการใช้เหตุผลในลำดับถัดไป