Stanford พัฒนาระบบหน่วยความจำ AI ใหม่ ลดการใช้ Token ได้ถึง 4,212 เท่า

เรื่องย่อ

ผู้ใช้ u/141_1337 ได้แชร์ผลงานการวิจัยล่าสุดจากมหาวิทยาลัย Stanford ที่พัฒนา AI memory system รูปแบบใหม่ ซึ่งสามารถดึงข้อมูลย้อนหลังจากการสนทนาทั้งหมดโดยใช้ memory tokens เพียง 16 ตัวเท่านั้น เทคโนโลยีนี้น่าสนใจตรงที่ช่วยลดการใช้ document-token ได้สูงสุดถึง 4,212 เท่า และทำงานเร็วขึ้น 27 เท่าในการทดสอบเอกสาร 512 ชุด นอกจากนี้ยังทำคะแนนทดสอบชนะมาตรฐานเดิม (benchmarks) ได้ถึง 5 จาก 8 รายการ

กระทู้นี้ได้รับความสนใจอย่างมากโดยมีผู้กด upvote กว่า 1,200 ครั้ง โดยในโพสต์มีการแนบลิงก์งานวิจัยและ GitHub ที่ใช้ชื่อโปรเจกต์ว่า Memorilla เพื่อให้ผู้ที่สนใจเข้าไปศึกษาโค้ดและการทำงานเชิงลึกได้ทันที

คนในกระทู้ว่าอย่างไร

• คนส่วนใหญ่ตื่นเต้นกับประสิทธิภาพการบีบอัดข้อมูล (compression) โดยมองว่าหากนำมาปรับใช้กับโมเดลระดับเรือธงได้จริง จะเป็นการกำจัดจุดอ่อนสำคัญของ AI ในเรื่องการจำบริบทที่ยาวเกินไปจนสิ้นเปลืองทรัพยากร
• มีการถกเถียงเรื่องความแม่นยำ เนื่องจากเป็นระบบบีบอัดแบบ Lossy compression (มีการสูญเสียรายละเอียดบางส่วน) บางคนกังวลว่าอาจไม่เหมาะกับงานที่ต้องการความแม่นยำสูงอย่างการแพทย์หรือวิทยาศาสตร์ แต่ก็มีคนแย้งว่าสมองมนุษย์ก็ทำงานแบบ Lossy เช่นกัน ซึ่งเพียงพอแล้วสำหรับการดึงข้อมูลสำคัญกลับมาใช้งาน
• หลายคนตั้งข้อสังเกตเรื่องความคุ้มค่าในการใช้งานจริง เพราะในการทดสอบต้องใช้ GPU Nvidia H100 80GB เพื่อประมวลผลการบีบอัด จึงอาจเป็นเรื่องยากที่จะนำมาใช้ในอุปกรณ์ทั่วไปของผู้บริโภค
• มีความเห็นในเชิงประชดประชันว่าเรามักจะเห็นข่าวงานวิจัยที่ดูดีแบบนี้ออกมาทุกเดือน แต่สุดท้ายมักจะไม่ถูกนำมาใช้งานจริงในวงกว้างด้วยเหตุผลด้านความปลอดภัยหรือข้อจำกัดเมื่ออยู่นอกห้องแล็บ
• สมาชิกบางส่วนมองว่าการที่ผลทดสอบชนะเพียง 5 จาก 8 รายการ หมายความว่าในอีกเกือบครึ่งที่เหลือระบบนี้ยังคงแพ้วิธีการแบบเดิมอยู่ จึงต้องรอดูว่าจะมีการพัฒนาต่อยอดอย่างไร