รู้จัก Token Saver: ส่วนขยาย MCP โอเพนซอร์สที่ลดค่าใช้จ่าย Token ของ Claude PDF ได้สูงสุด 99%

รู้จัก Token Saver: ส่วนขยาย MCP โอเพนซอร์สที่ลดค่าใช้จ่าย Token ของ Claude PDF ได้สูงสุด 99%

นักพัฒนา AI นักวิจัย และคนทำงานยุคใหม่ มักเผชิญกับอุปสรรคเรื่องค่าใช้จ่ายแฝงมหาศาลเมื่อต้องวิเคราะห์เอกสารขนาดใหญ่ผ่าน LLM เนื่องจากการส่งไฟล์ PDF หนาหลายร้อยหน้าเข้าไปในแชทแต่ละครั้ง ประวัติการสนทนาจะถูกส่งกลับไปประมวลผลใหม่ซ้ำแล้วซ้ำเล่าในทุกรอบการถามตอบ ทำให้ผู้ใช้ต้องจ่ายค่า Token สำหรับเอกสารเดิมซ้ำๆ อย่างเลี่ยงไม่ได้

ทีมงาน Marktechpost AI จึงได้เปิดตัว Token Saver ซึ่งเป็นส่วนขยาย Model Context Protocol (MCP) แบบโอเพนซอร์ส (MIT License) สำหรับ Claude Desktop พัฒนาโดย Arnav Rai ภายใต้การดูแลของ Jean-marc Mommessin และ Asif Razzaq โดยเครื่องมือนี้จะเปลี่ยนวิธีที่ Claude โต้ตอบกับเอกสารผ่านระบบ Local Hybrid RAG ที่ทำงานบนเครื่องของผู้ใช้โดยตรง

ระบบนี้ช่วย ลดการใช้ Token ลงได้ถึง 92% - 99% พร้อมรับประกันความเป็นส่วนตัว 100% เนื่องจากไม่ต้องอัปโหลดไฟล์จริงไปยังโมเดล และที่สำคัญคือผู้ใช้สามารถติดตั้งใช้งานได้ทันทีโดยไม่ต้องตั้งค่าสภาพแวดล้อม Python หรือใช้งาน Terminal ให้ยุ่งยาก

หน้าตาการใช้งาน

รู้จัก Token Saver: ส่วนขยาย MCP โอเพนซอร์สที่ลดค่าใช้จ่าย Token ของ Claude PDF ได้สูงสุด 99%

โดยปกติแล้ว เมื่อเราวางไฟล์ PDF ลงใน Claude ตัวระบบจะแปลงแต่ละหน้าเป็นรูปภาพเพื่อรักษาเลย์เอาต์และดึงข้อความแยกออกมา ซึ่งเฉพาะแค่ส่วนข้อความอย่างเดียวก็อาจกินพื้นที่ไปถึง 1,500 - 3,000 Token ต่อหน้า แม้จะมีระบบ Prompt Caching แต่เอกสารทั้งหมดยังคงต้องถูกส่งไปยังเซิร์ฟเวอร์ภายนอก ซึ่งหากคุณต้องการคำตอบเพียงไม่กี่ย่อหน้าจากหนังสือพันหน้า การส่งข้อมูลทั้งหมดจึงเป็นเรื่องที่สิ้นเปลืองและอาจทำให้ AI เกิดอาการหลอน (Hallucination) ได้

Marktechpost’s Token Saver เข้ามาแก้ปัญหานี้ในฐานะ Local MCP Server ซึ่งเป็นโปรแกรมเบื้องหลังที่ Claude สามารถเรียกใช้เป็นเครื่องมือดึงข้อมูลเฉพาะส่วนที่จำเป็นได้ โดยอาศัย Hybrid RAG ซึ่งเป็นมาตรฐานการค้นหาข้อมูลระดับสูงที่รวม 2 พลังเข้าด้วยกัน คือ Keyword Matching (BM25) ผ่าน SQLite FTS5 และ Semantic Search (Cosine Similarity) ผ่านโมเดล embedding ท้องถิ่น all-MiniLM-L6-v2 เพื่อให้เข้าใจถึงความหมายแฝงของคำถาม

ด้วยส่วนผสมนี้ ระบบจะส่งเฉพาะข้อความส่วนที่เกี่ยวข้องที่สุดให้ Claude นำไปสังเคราะห์คำตอบ ทำให้ Claude สามารถอ้างอิงเลขหน้าได้อย่างแม่นยำ พร้อมระบุจำนวน Token ที่ประหยัดไปได้ในแต่ละการโต้ตอบ

กระบวนการประมวลผล 8 ขั้นตอน

Token Saver ทำงานผ่านกระบวนการภายในเครื่องแบบ Step-by-Step ดังนี้:

  1. Extract: ดึงข้อความด้วย pypdfium2
  2. Chunk: แบ่งข้อความเป็นส่วนละ 180 คำ พร้อมซ้อนทับกัน 40 คำเพื่อรักษาบริบท
  3. Score (Hybrid RAG): ประเมินความเกี่ยวข้องด้วย BM25 และโมเดล embedding
  4. Gate: คัดกรองคุณภาพข้อมูล โดยกำหนดระดับความเหมือนขั้นต่ำที่ 0.25
  5. Deduplicate: กำจัดเนื้อหาที่ซ้ำซ้อน
  6. Trim: ตัดแต่งให้เหลือเฉพาะประโยคที่ตอบโจทย์จริงๆ
  7. Budget: จำกัดปริมาณข้อมูลส่งออกไว้ที่ 8,000 ตัวอักษร
  8. Envelope: ระบุชื่อไฟล์และเลขหน้าที่มาอย่างชัดเจนก่อนส่งให้ Claude

รู้จัก Token Saver: ส่วนขยาย MCP โอเพนซอร์สที่ลดค่าใช้จ่าย Token ของ Claude PDF ได้สูงสุด 99%

(หมายเหตุ: หากโหลดโมเดล embedding ไม่สำเร็จ ระบบจะสลับไปใช้การจับคู่คีย์เวิร์ดเพียงอย่างเดียวโดยอัตโนมัติ)

สถิติการประหยัด Token สูงสุด 99%

จากการทดสอบประสิทธิภาพผ่าน tiktoken พบว่า Token Saver ช่วยลดการส่งข้อมูลได้อย่างมหาศาล ดังแสดงในตารางเปรียบเทียบ:

เอกสารจำนวนหน้าToken ทั้งเอกสารToken ที่ส่งกลับประหยัด Token ได้
ฉลากยา FDA3323,9591,02195.7%
GDPR (EU 2016/679)8870,26099698.6%
SFFA v. Harvard233133,34974099.4%

สำหรับมืออาชีพที่ต้องทำงานกับเอกสารกฎหมาย มาตรฐานเทคนิค หรือรายงานการเงินที่มีเนื้อหาหนาแน่น เครื่องมือนี้จะช่วยกำจัดค่าธรรมเนียม Token ซ้ำซ้อนได้อย่างเห็นผลชัดเจน

ความปลอดภัยระดับองค์กร

Token Saver ออกแบบมาเพื่อตอบโจทย์ผู้ใช้ที่เคร่งครัดเรื่องความเป็นส่วนตัว เช่น นักกฎหมายหรือองค์กรธุรกิจ โดยมีเสาหลักความปลอดภัย 3 ด้านคือ Zero Uploads (ข้อมูลไม่หลุดออกจากเครื่อง), Folder Allowlisting (จำกัดการเข้าถึงเฉพาะโฟลเดอร์ที่ได้รับอนุญาต) และ Network Isolation (สื่อสารผ่าน stdio เท่านั้น ไม่มีการเปิดพอร์ตเครือข่ายเสี่ยงต่อการถูกโจมตี)

ในการเลือกใช้โมเดล พบว่า Claude 3.5 Sonnet ทำงานร่วมกันได้ดีที่สุดในการดึงข้อมูลและอ้างอิงเลขหน้าอย่างแม่นยำ ส่วน Claude 3 Opus จะโดดเด่นในงานวิเคราะห์เอกสารที่มีความซับซ้อนสูงหรือมีการโต้แย้งทางความคิดเห็นมากเป็นพิเศษ

วิธีการติดตั้ง

ผู้ใช้สามารถเริ่มใช้งานได้ในไม่กี่นาทีผ่านไฟล์ .mcpb เพียงไฟล์เดียว โดยดาวน์โหลดจากหน้า GitHub Releases จากนั้นไปที่ Claude Desktop เลือก Settings > Extensions > Install extension แล้วทำการเลือกโฟลเดอร์ที่เก็บไฟล์ PDF ไว้ ซึ่งการเลือกโฟลเดอร์นี้สำคัญมากในการกำหนดขอบเขตความปลอดภัยและช่วยให้ Claude ค้นหาไฟล์ได้รวดเร็วขึ้นโดยไม่ต้องพิมพ์ที่อยู่ไฟล์เต็ม

รู้จัก Token Saver: ส่วนขยาย MCP โอเพนซอร์สที่ลดค่าใช้จ่าย Token ของ Claude PDF ได้สูงสุด 99%

สรุปใจความสำคัญคือ Token Saver มอบประสิทธิภาพในการลดต้นทุนมหาศาลผ่าน Local Hybrid RAG ให้ความแม่นยำที่ตรวจสอบได้จริงด้วยเลขหน้าอ้างอิง รักษาความเป็นส่วนตัวสมบูรณ์แบบ และติดตั้งง่ายกว่าเครื่องมือ AI ทั่วไป

ศึกษาข้อมูลเพิ่มเติมได้ที่ GitHub Repo

อ้างอิง: MCP Bundle format | all-MiniLM-L6-v2 | pdfkb-mcp | wesleygriffin/pdfrag

Source: MarkTechPost
ดูแลงานแปลและเรียบเรียงโดย AttapolK

ความคิดเห็น (0)

เข้าสู่ระบบเพื่อร่วมแสดงความเห็น

สมัครสมาชิก

มาเป็นคนแรกที่แสดงความเห็นกันเลยโบร