รู้จัก FreeToken: Engine ประมวลผล MoE ที่รันโมเดล GLM-5.2 ขนาด 753B ได้บน GPU เวิร์กสเตชันเพียงตัวเดียว

โมเดล open-weight ระดับแนวหน้ากำลังถูกพัฒนาออกมาเร็วกว่าขีดความสามารถของฮาร์ดแวร์ทั่วไป โมเดลอย่าง Kimi-K3, GLM-5.2 และ DeepSeek-V4-Flash กำลังลดช่องว่างความสามารถเมื่อเทียบกับระบบปิด แต่จำนวนพารามิเตอร์มหาศาลทำให้การใช้งานยังต้องพึ่งพา GPU cluster ระดับดาต้าเซ็นเตอร์ ซึ่งเป็นต้นทุนที่หนักเกินไปสำหรับนักพัฒนาอิสระและทีมขนาดเล็ก

ในขณะที่คอมพิวเตอร์ตามบ้านนับล้านเครื่องมี GPU แยกติดตั้งอยู่แล้ว ทีมวิจัยจาก UC Berkeley และ UT Austin จึงได้นำเสนอ FreeToken โดยมองว่าส่วนที่ขาดหายไปไม่ใช่ตัวฮาร์ดแวร์ แต่เป็นระบบประมวลผลที่ต้องเปลี่ยนวิธีคิดจากการมองเครื่องส่วนตัวเป็นแค่ GPU ขนาดเล็ก ให้กลายเป็นแพลตฟอร์มการอนุมานที่ยืดหยุ่น โดยการจับคู่การคำนวณเข้ากับทรัพยากรที่มีอยู่จริงทั้ง GPU, CPU, หน่วยความจำ และแบนด์วิดท์

ผลลัพธ์ที่ได้คือน่าทึ่งมาก ระบบนี้สามารถรันโมเดล 35B ด้วยความเร็วระดับโต้ตอบได้บน GPU แล็ปท็อปขนาด 8 GB, รันโมเดล 284B บนเดสก์ท็อปสำหรับเล่นเกม และรันโมเดลยักษ์ใหญ่ 753B GLM-5.2 บนการ์ดจอเวิร์กสเตชันเพียงตัวเดียวเท่านั้น

มันสามารถนำไปใช้งานได้จริงหรือไม่?

ใช่, FreeToken เปิดให้ใช้งานภายใต้สัญญาอนุญาตแบบ Apache-2.0 บน GitHub และเผยแพร่บน PyPI ในชื่อ freetoken

สำหรับเวอร์ชัน v0.1.2 สามารถติดตั้งได้ง่ายผ่าน:

uv pip install "freetoken[accel]"

นอกจากนี้ยังมีแอปพลิเคชันเดสก์ท็อปแบบคลิกเดียวสำหรับ Windows และ Linux ที่ flashml.ai โดยส่วนของ CLI จะรองรับ Linux x86_64 พร้อม GPU NVIDIA บนไดรเวอร์ r580+ (CUDA 13) ซึ่งคำสั่ง ft serve จะเปิดจุดเชื่อมต่อที่รองรับมาตรฐาน OpenAI และ Anthropic บนพอร์ต 1919 ทันที ส่วนคำสั่ง ft launch claude จะเชื่อมต่อเครื่องมือยอดนิยมอย่าง Claude Code หรือ Codex เข้ากับเครื่องของคุณเอง

กลุ่มเป้าหมายหลักคือกลุ่มนักพัฒนาอิสระและธุรกิจ SMB ที่ต้องการลดค่าใช้จ่ายด้าน Token หรือองค์กรที่ต้องการประมวลผลข้อมูลในระบบปิด (air-gapped) เพื่อความปลอดภัย โดยเฉพาะในอุตสาหกรรมการแพทย์ กฎหมาย การเงิน และการวิจัยที่เน้นทรัพย์สินทางปัญญา ซึ่งเหมาะสำหรับการสร้าง coding agent ส่วนตัว หรือการวิเคราะห์ข้อมูลความลับแบบออฟไลน์

ช่องว่างที่มุ่งเป้าแก้ไข

สถาปัตยกรรม Mixture-of-Experts (MoE) ทำให้การรันโมเดลใหญ่บนเครื่องส่วนตัวเป็นไปได้ในทางทฤษฎี ตัวอย่างเช่น DeepSeek-V4-Flash จะเรียกใช้ expert เพียง 6 จาก 256 ตัวในแต่ละชั้น ทำให้มีพารามิเตอร์ที่ทำงานจริงแค่ 13B จากทั้งหมด 284B ต่อหนึ่ง token อย่างไรก็ตาม พารามิเตอร์ที่ไม่ได้ใช้ยังคงต้องอยู่ในหน่วยความจำหลักและรอการเรียกใช้งาน

ทีมวิจัยพบจุดอ่อน 3 ประการใน engine ปัจจุบัน (เช่น llama.cpp, KTransformers, Ollama):

1. Prefill ทำลายความเบาบาง: ในขั้นตอนนี้ข้อมูลจะถูกส่งผ่าน PCIe ในปริมาณมาก ซึ่งใช้เวลานานมากโดยเฉพาะในแล็ปท็อป
2. การจัดวางตำแหน่งแบบคงที่: ระบบเดิมมักกำหนดตำแหน่งข้อมูลไว้ตายตัว ทำให้ GPU และ PCIe มักจะว่างงานในขณะที่ CPU ต้องรับภาระหนักเกินไป
3. ข้อจำกัดของ CPU: หน่วยความจำ DDR5 ทั่วไปมีความเร็วต่ำกว่าหน่วยความจำบนการ์ดจอระดับสูงมาก

สามกลไกหลัก

*การประมวลผลที่ปรับตามแบนด์วิดท์ (นโยบาย q)**: FreeToken จะคำนวณสัดส่วนภาระงานระหว่าง GPU และ CPU โดยอิงจากแบนด์วิดท์ที่วัดได้จริงในเครื่องนั้นๆ (ft bench bw) เพื่อแบ่งส่วนการประมวลผล expert ให้เกิดประสิทธิภาพสูงสุดโดยไม่มีการประมาณค่าผลลัพธ์ ทำให้ความเร็วที่ได้เหมาะสมกับฮาร์ดแวร์แต่ละเครื่อง ไม่ว่าจะเป็นเซิร์ฟเวอร์แรงสูงหรือแล็ปท็อปทั่วไป

การทำแคชที่รับรู้ความหมาย (Semantic-aware caching): ในขั้นตอน prefill จะใช้ระบบ double buffering เพื่อส่งข้อมูลล่วงหน้า และมีการกำหนดจุดเช็คพอยท์ตามโครงสร้างภาษา (เช่น บล็อกการคิด หรือการเรียกใช้เครื่องมือ) ทำให้เมื่อมีการแก้ไขข้อมูล ระบบจะประมวลผลใหม่เฉพาะส่วนที่เพิ่มเข้ามาเท่านั้น ส่วนในขั้นตอน decode จะใช้ระบบแคชแบบ LRU ที่ยืดหยุ่นตามการทำงานจริงของ router

การจัดการหน่วยความจำแบบยืดหยุ่น: ระบบจะปรับปรุงแคช expert บน GPU ตามงบประมาณ VRAM ที่มีอยู่ได้ทันทีโดยไม่ต้องรีสตาร์ทเครื่องยนต์ใหม่ และมีการดึงข้อมูลจากดิสก์ตรงสู่หน่วยความจำหลักโดยไม่ต้องทำ GPU warmup ช่วยให้คำขอแรกได้รับการประมวลผลอย่างรวดเร็วแม้แคชจะยังว่างอยู่

ผลลัพธ์

จากการทดสอบบน RTX 5090 FreeToken ทำความเร็วได้ถึง 77–83 tok/s บน Qwen3.6-35B-A3B และ 22–25 tok/s บน DeepSeek-V4-Flash ซึ่งเร็วกว่าคู่แข่ง 1.5–2.3 เท่า ที่สำคัญคือค่า TTFT (เวลาจนถึง token แรก) ในกรณีเลวร้ายที่สุดยังต่ำกว่า 44 วินาที ในขณะที่ระบบอื่นอาจใช้เวลานานจนการเชื่อมต่อหมดเวลา (timeout)

แม้แต่บนแล็ปท็อป RTX 4060 ที่มี VRAM เพียง 8 GB ระบบนี้ก็ยังรันโมเดล 35B ได้ที่ 39.3 tok/s ซึ่งสูงกว่าค่าเฉลี่ยการใช้งานจริงของระบบ Codex ส่วนการทดสอบขั้นสุดยอดบน RTX PRO 6000 เพียงใบเดียว พบว่าสามารถรันโมเดล GLM-5.2 ขนาด 753B ได้ที่ความเร็ว 14.9 tok/s ซึ่งเร็วกว่า llama.cpp ถึงสองเท่า

การตรวจสอบข้อมูล

3 ได้รับการยืนยัน | 9 รายงานโดยผู้พัฒนา | 4 ทำให้เข้าใจผิด | 0 ขัดแย้ง | 0 ไม่พบข้อมูล

ประเด็นที่ต้องสังเกต: แม้ตัวเลขจะดูน่าประทับใจ แต่บางข้อมูลอาจทำให้เข้าใจผิดได้ เช่น การระบุว่าใช้ "GPU ตัวเดียว" เพื่อรันโมเดล 753B นั้นเป็นความจริงในแง่ VRAM แต่ตัวเครื่องจำเป็นต้องมีหน่วยความจำระบบ (RAM) สูงถึง 192–512 GB ซึ่งไม่ใช่สเปกของคอมพิวเตอร์ผู้บริโภคทั่วไปในปัจจุบัน นอกจากนี้การเปรียบเทียบความเร็วกับ Codex ยังเป็นการใช้ตัวชี้วัดคนละประเภทกัน

อย่างไรก็ตาม งานวิจัยนี้มีความสะอาดในด้านการคำนวณทางคณิตศาสตร์ ทุกอัตราส่วนที่นำเสนอสามารถคำนวณย้อนกลับได้ตรงตามผลการทดสอบ และถือเป็นก้าวสำคัญของการนำ AI ระดับโลกมาประมวลผลบนฮาร์ดแวร์ระดับผู้ใช้ทั่วไป

ประเด็นสำคัญ

• FreeToken ใช้การบริหารแบนด์วิดท์ที่วัดได้จริงในการประมวลผล MoE แทนที่จะใช้กฎตายตัว
• ผลลัพธ์ที่ได้มีความแม่นยำ 100% ไม่มีการลดทอนคุณภาพโมเดลหรือความละเอียด
• ให้ความเร็วสูงกว่าระบบเดิม 1.5–2.3 เท่า และลดระยะเวลาเริ่มใช้งาน (TTFT) ลงอย่างมาก
• เปิดใช้งานได้จริงบนแล็ปท็อป GPU 8 GB สำหรับโมเดล 35B และรองรับโมเดลใหญ่ถึง 753B
• พร้อมใช้งานทันทีผ่าน PyPI และโปรแกรมเดสก์ท็อปภายใต้สัญญาอนุญาต Open Source