Anthropic เผยหัวใจความจำ AI คือการรู้จักลืม ไม่ใช่เน้นเก็บข้อมูล

· By: SirilukP

Image description

ประเด็นสำคัญ

  • Anthropic ทดสอบความสามารถของ Claude ในการบันทึกข้อมูลข้ามเซสชันเพื่อนำกลับมาใช้ใหม่ในภายหลัง
  • ผลการทดสอบชี้ว่าการบันทึกเฉพาะกลยุทธ์และกฎเกณฑ์สำคัญ ให้ผลดีกว่าการบันทึกทุกขั้นตอนที่ทำให้โมเดลแบกรับข้อมูลล้าสมัยมากเกินไป
  • ระบบใช้กระบวนการหลังจบเซสชันที่เรียกว่า "Dreaming" เพื่อวิเคราะห์บทสนทนาเก่าในช่วงเวลาว่าง ช่วยแก้ไขบันทึกที่ผิดพลาดและสร้างชุดความรู้ที่มีโครงสร้างอย่างอิสระ

Anthropic ศึกษาแนวทางการคงความรู้ของ Claude ข้ามเซสชัน โดยพบว่าการบันทึกแบบเลือกสรรมีประสิทธิภาพสูงกว่าการเก็บข้อมูลทั้งหมด และการให้โมเดลตรวจสอบความจำย้อนหลังช่วยแก้ไขข้อผิดพลาดได้อย่างแม่นยำ

ผู้ที่ทำงานกับ AI agent ในโปรเจกต์ต่อเนื่องมักประสบปัญหาเมื่อเริ่มเซสชันใหม่จากศูนย์ Anthropic จึงนำเสนองานวิจัยที่ช่วยให้ Claude คงความรู้ข้ามเซสชันได้โดยไม่ต้องเปลี่ยนตัวโมเดล ผ่านการเขียนบันทึกลงในโฟลเดอร์ที่สามารถเรียกอ่านได้ในภายหลัง

ปัญหาหลัก ตามที่ Anthropic ระบุ คือการคัดเลือกข้อมูล เพราะก่อนจะรู้เหตุการณ์ล่วงหน้า เอเจนต์ต้องตัดสินใจทันทีว่าสิ่งใดสำคัญต่ออนาคต การจดบันทึกแต่ละครั้งจึงเปรียบเสมือนการเดิมพันกับเหตุการณ์ที่จะเกิดขึ้น

Two Pokémon Red map segments showing the player character at a ledge near Mt. Moon. On the left, it walks toward the next city with a wrong note; on the right, it heads back to the cave entrance with the corrected note.

เอเจนต์ที่บันทึกทุกอย่างจะหลงทาง

ในการทดสอบผ่านเกม Pokémon Red พบว่าโมเดลรุ่นเก่าอย่าง Claude Sonnet 3.7 ให้ความสำคัญกับทุกรายละเอียด จนสร้างไฟล์ถึง 413 ไฟล์ใน 225 โฟลเดอร์ตลอดการเดินเกม 10,000 ก้าว เนื่องจากสถานะในเกมเปลี่ยนแปลงตลอดเวลา ข้อมูลที่เก็บไว้จึงล้าสมัยอย่างรวดเร็ว ส่งผลให้โมเดลเสียเวลาไปกับการจัดระเบียบบันทึกแทนที่จะเล่นเกม และจบเกมด้วยการคว้าเข็มกลัดได้เพียงอันเดียวเท่านั้น

ในทางกลับกัน โมเดลรุ่นใหม่อย่าง Claude Fable 5 จำกัดความจำไว้เพียงไม่กี่ไฟล์และคว้าเข็มกลัดมาได้ถึงสี่อัน Fable 5 เลือกที่จะไม่บันทึกข้อมูลที่มองเห็นได้บนหน้าจออยู่แล้ว แต่เน้นเขียนแผนการและกฎเกณฑ์ที่ผ่านการทดสอบแล้วแทน อย่างไรก็ตามการทดสอบนี้เป็นการเปรียบเทียบจากการเล่นเพียงรอบเดียวต่อโมเดล

Two treemaps at the same scale compare the memory folders of Claude Sonnet 3.7 with 413 files and about 978,000 characters against Claude Fable 5 with 10 files and about 43,000 characters.

Anthropic แนะนำให้户外ิบายวัตถุประสงค์ของความจำแก่ Claude และปล่อยให้โมเดลตัดสินใจใช้งานเอง การทดสอบระบุว่าคำแนะนำที่ตึงเกินไป เช่น "บันทึกเฉพาะความผิดพลาด" กลับทำให้ความสามารถของโมเดลลดลง ในขณะที่โมเดลรุ่นเก่าจะทำงานได้ดีขึ้นหากมีคำแนะนำชัดเจนให้หยุดอ่านบันทึกก่อนตอบทุกครั้ง

Left, a bar chart for Sonnet 4.6 showing 0.330 without memory, 0.364 with memory, and 0.641 with memory plus refined instructions. Right, the drop in memory gains when models are told to record only failures.

Dreaming มุ่งเป้าแก้ไขความจำที่ผิดพลาด

ความเสี่ยงสำคัญคือการที่เอเจนต์เชื่อบันทึกที่ผิดพลาดอย่างสนิทใจ Dreaming ซึ่งเป็นแนวคิดจาก Letta และ UC Berkeley จึงถูกนำมาใช้เพื่อแก้ปัญหานี้ โดยเลียนแบบสมองมนุษย์ที่ประมวลผลประสบการณ์ขณะนอนหลับ Claude จะทบทวนบทสนทนาเก่าในช่วงพักเพื่อตรวจสอบและแก้ไขบันทึกของตนเอง

Diagram of the memory hierarchy between two sessions, showing transcripts, memory notes, memory representations like wikis, and injected context, all framed by a region labeled "Dreaming."

ตัวอย่างในการเล่น Pokémon เมื่อ Claude จดบันทึกตำแหน่งจุดสังเกตผิดพลาด ทำให้มันติดกับดักเดิมซ้ำถึงสามครั้งจนเกือบถอดใจ แต่หลังจากผ่านกระบวนการ Dreaming โมเดลสามารถตรวจพบข้อผิดพลาดได้เองจากการตรวจสอบย้อนกลับ และหาเส้นทางที่ถูกต้องจนสำเร็จ

Line chart tracking progress toward Cerulean City over 3,000 actions. The run with memory and Dreaming reaches the city after 1,935 actions; the runs without memory and without correction never do.

นอกจากนี้ Dreaming ยังช่วยจัดระเบียบฐานความรู้ขนาดใหญ่ได้ โดย Claude สามารถสร้าง wiki ที่เชื่อมโยงเอกสารภายในกว่า 350,000 ฉบับของบริษัท Stainless พร้อมแก้ไขข้อมูลที่ซ้ำซ้อนหรือลิงก์ที่เสีย ผลลัพธ์จะดีที่สุดเมื่อใช้งาน wiki ร่วมกับการค้นหา (search) เพื่อเสริมประสิทธิภาพซึ่งกันและกัน

Line chart showing the share of graded criteria met across 25 questions about a document corpus. Wiki plus search rises from 54 to 61 percent, the wiki alone from 13 to 48 percent, and search alone stays at 53 percent. Two network graphs show the wiki after 2 and after 128 sessions.

จากการทดสอบด้านกฎหมายพบว่า wiki ช่วยตอบคำถามที่ข้อมูลกระจายอยู่ตามเอกสารต่างๆ ได้ดีมาก โดย Claude ทำคะแนนได้ 87% เมื่อมี wiki เทียบกับ 73% ที่ใช้เพียงการค้นหาปกติ ส่วนงานค้นหาทั่วไป wiki ให้ผลลัพธ์ใกล้เคียงกับการค้นหา และบางกรณีความจำที่สรุปออกมาอาจมีขนาดใหญ่กว่าเอกสารต้นฉบับ

ความจำยังคงเป็นสิ่งที่ต้องพัฒนาต่อ

Anthropic ยอมรับว่ายังมีโจทย์ที่ต้องแก้ เช่น การจดบันทึกระหว่างงานอาจทำให้เอเจนต์เสียสมาธิ และ Dreaming ยังมีค่าใช้จ่ายด้าน compute เพิ่มเติมรวมถึงความล่าช้าในการแสดงผล นอกจากนี้ บันทึกและ wiki ยังต้องการการดูแลอย่างสม่ำเสมอเพื่อป้องกันอาการประสาทหลอน (hallucinations) ที่อาจสะสมจนส่งผลต่อเซสชันในอนาคต

สรุปได้ว่าความจำที่มีประสิทธิภาพของเอเจนต์เกิดจากการคัดเลือกจัดเก็บข้อมูลที่ถูกต้องและการแก้ไขข้อผิดพลาดภายหลัง มากกว่าการพยายามเก็บข้อมูลปริมาณมหาศาล

ปัจจุบัน Anthropic เปิดตัว Dreaming ในรูปแบบ research preview สำหรับ Claude Managed Agents โดยรองรับเซสชันย้อนหลังสูงสุด 100 เซสชันเพื่อลบข้อมูลซ้ำซ้อนและจัดระเบียบใหม่ เบื้องต้นรองรับเฉพาะ Claude Opus 4.7 และ Sonnet 4.6 เท่านั้น

ทางด้านคู่แข่งอย่าง OpenAI ก็มีการใช้ฟีเจอร์ที่เรียกว่า "Dreaming" ใน ChatGPT ฉบับปรับปรุงใหม่ เช่นกัน ซึ่งเน้นการรักษาโปรไฟล์ผู้ใช้และเพิ่มความแม่นยำด้านเวลาจาก 52.2% เป็น 75.1%

ขณะที่นักวิจัยจาก Google และ Google DeepMind ก็ใช้การ ฝัน (dream) เพื่อปรับปรุงกลยุทธ์การค้นหาของเอเจนต์ รวมถึงสร้าง WikiSkill เพื่อแยกเลเยอร์ความรู้ระหว่างบทสนทนาดิบและข้อมูลที่กลั่นกรองแล้วออกจากกัน

Source: The Decoder
ดูแลงานแปลและเรียบเรียงโดย SirilukP

ความคิดเห็น (0)

เข้าสู่ระบบเพื่อร่วมแสดงความเห็น

สมัครสมาชิก

มาเป็นคนแรกที่แสดงความเห็นกันเลยโบร