เปิดตัว Needle 2 โมเดล Tool-Calling จิ๋ว 45 ล้านพารามิเตอร์ รันบน RAM 28MB โดยไม่ต้องใช้ GPU

Cactus Compute ได้เปิดตัว Needle 2 โมเดลแบบ open ขนาด 45M-parameter สำหรับงาน tool calling, device use และ structured extraction โดยตัวโมเดลถูกส่งมอบในรูปแบบ single 14MB binary เพียงไฟล์เดียว และใช้ RAM ในการรันเซสชันเต็มรูปแบบเพียง 28MB เท่านั้น น้ำหนักของโมเดล (Weights) ถูกฝึกและใช้งานที่ระดับ CQ2-bit ผ่านเทคโนโลยี Cactus Quants ภายใน C++ engine ของบริษัทเอง ทำให้ไม่ต้องติดตั้ง runtime เพิ่มเติมหรือดาวน์โหลดข้อมูลขณะประมวลผล (inference)

ประสิทธิภาพของ Needle 2 ทำความเร็ว decode throughput ได้น่าประทับใจ โดยทำได้ 500 tokens/sec บน Raspberry Pi 5, ประมาณ 400–1,500 tokens/sec บน Meta Quest 3S และ Apple Vision Pro รวมถึงทำความเร็วได้ 300–700 tokens/sec บนสมาร์ทโฟนราคาประหยัด ทีมผู้พัฒนาเน้นย้ำแนวคิดว่าการแปลงประโยคที่ซับซ้อนให้เป็นฟังก์ชัน (typed function signature) ไม่จำเป็นต้องใช้ความรู้รอบโลกหรือภาษาที่สละสลวยเกินความจำเป็น โมเดลขนาด 45M parameters จึงเพียงพอและตอบโจทย์ฮาร์ดแวร์ที่ไม่มี GPU หรือ NPU ได้อย่างมีประสิทธิภาพ

มันสามารถนำไปใช้งานได้จริงหรือไม่?

Needle 2 พร้อมใช้งานทันทีในรูปแบบ prebuilt binaries และ static library ครอบคลุมหลายแพลตฟอร์ม ทั้ง macOS, Linux (x86-64, ARM64, ARMv7, RISC-V, MIPS32el), Windows, Android, iOS/watchOS/tvOS และ WebAssembly โดยทาง Cactus ระบุว่าอุปกรณ์อย่าง Pebble ได้นำ Needle ไปรันในเครื่องผ่านแอป Index 01 เพื่อใช้สำหรับคำสั่งเสียงแบบออฟไลน์เรียบร้อยแล้ว

เทคโนโลยีนี้เหมาะสำหรับทีมงานที่พัฒนาเฟิร์มแวร์หรือแอปพลิเคชันบนฮาร์ดแวร์ที่มีทรัพยากรจำกัด เช่น สตาร์ทอัพด้าน Wearable, IoT, ผู้ผลิตอุปกรณ์อิเล็กทรอนิกส์ระดับกลาง, ทีมวิจัยหุ่นยนต์ รวมถึงระบบที่ต้องการการทำงานแบบออฟไลน์เพื่อความปลอดภัยของข้อมูล โดยอุตสาหกรรมเป้าหมายครอบคลุมตั้งแต่อุปกรณ์ Smart Home, ระบบควบคุมในรถยนต์, หุ่นยนต์บริการ ไปจนถึงตู้คีออสก์และระบบ POS ในร้านค้าปลีก

แอปพลิเคชันที่โดดเด่นประกอบด้วย การเปลี่ยนเสียงเป็นการกระทำ (voice-to-action) ในอุปกรณ์ไร้หน้าจอ, การควบคุมเครื่องใช้ไฟฟ้าแบบออฟไลน์, การสกัดข้อมูลจากใบเสร็จ, การทำ local routing เพื่อตัดสินใจว่าจะส่งข้อมูลต่อไปยัง Cloud หรือไม่ โดยจะส่งต่อเฉพาะเมื่อโมเดลมีความมั่นใจต่ำ (low confidence) เท่านั้น ช่วยเพิ่มความเป็นส่วนตัวและลดภาระของเซิร์ฟเวอร์

สถาปัตยกรรม: Simple Attention Network

Needle 2 ใช้สถาปัตยกรรมที่เรียกว่า Simple Attention Network ซึ่งแทนที่ FFN ด้วย Hadamard MLP แต่ยังคงการใช้งาน GQA attention ไว้ พร้อมเพิ่ม engram key-value memory จาก hashed n-gram tables และใช้ระบบ multi-lane hyper-connections ตัวเครือข่ายมีความลึก 27 เลเยอร์และความกว้าง 512 โดยมีรายละเอียดการศึกษาเผยแพร่ใน arXiv ภายใต้ชื่อ A Controlled Study of Attention-Only Transformers

ในการฝึกสอน โมเดลนี้ใช้คลังข้อมูลเฉพาะตัวขนาด 115B-token และทำ post-training อีก 38B tokens เมื่อเปรียบเทียบด้านการใช้ทรัพยากร Needle 2 ใช้เพียง 70 MFLOPs ต่อโทเค็น (โดยมี 35M จาก 45M พารามิเตอร์ที่ทำงานแบบ matmul-active) ซึ่งน้อยกว่าโมเดลคู่แข่งอย่าง LFM2.5-230M ที่ใช้ 460 MFLOPs หรือ Apple FM ที่ใช้สูงถึงเกือบ 6,000 MFLOPs อย่างมาก

Engine, grammar, retrieval, และ confidence

กลไกการทำงานของน้ำหนักโมเดลจะไม่มีการคลายการบีบอัดลงใน RAM แต่รหัส 2-bit จะขยายตัวภายใน vector registers และประมวลผลแบบ integer dot products (int8) โดยระบบจะตรวจสอบ CPU เมื่อเริ่มต้นเพื่อเลือก kernel tier ที่เหมาะสมที่สุด เช่น AVX2 หรือ NEON นอกจากนี้ยังมีระบบ grammar ระดับไบต์ที่คอยควบคุมความถูกต้องของ JSON schemas ทำให้ engine ข้ามขั้นตอนที่ไม่จำเป็นได้ถึง 98%

ด้านการจัดการหน่วยความจำ Needle 2 ใช้ sliding window ขนาด 256-token และปักหมุด KV sinks ไว้ ทำให้ RAM คงอยู่ที่ประมาณ 28MB ตลอดเวลาไม่ว่าบทสนทนาจะยาวเพียงใด หากมีการประกาศเครื่องมือ (tools) มากกว่า 5 อย่าง ระบบ contrastive retrieval จะทำหน้าที่คัดเลือกเฉพาะ 5 อันดับแรกที่เกี่ยวข้องที่สุดมาใช้งาน เพื่อรักษาประสิทธิภาพสูงสุด

จุดเด่นสำคัญคือการตอบกลับทุกครั้งจะมีค่า confidence เพื่อบอกระดับความมั่นใจ หากคำขอไม่อยู่ในขอบเขตที่กำหนด โมเดลจะส่งคืนค่าว่าง [] ช่วยให้ผู้พัฒนาตั้งเกณฑ์ (threshold) ได้ว่าเมื่อใดควรดำเนินการต่อในเครื่อง หรือเมื่อใดควรสอบถามผู้ใช้ซ้ำหรือส่งงานต่อไปยังระบบ Cloud ที่ใหญ่กว่า

การประเมินผล

ทีม Cactus ประเมินผลบน 5 เกณฑ์มาตรฐานของ function-calling โดยเน้นความแม่นยำระดับสั่งการจริง (strict exact match) ซึ่ง Needle 2 ที่รันแบบ CQ2-bit สามารถเอาชนะโมเดลขนาดใหญ่กว่าในหลายด้าน

Needle 2 เป็นผู้นำใน Seal-Tools ทั้งสองส่วน และทำคะแนนความแม่นยำชื่อฟังก์ชันใน Mobile Actions ได้ถึง 98.3 แม้จะตามหลังใน BFCL v4 ซึ่งเน้น API องค์กร แต่ทีมงานชี้แจงว่าเป็นเพราะ Needle ถูกฝึกมาเพื่อเน้นการใช้งานบนอุปกรณ์พกพาเป็นหลัก ซึ่งประสิทธิภาพในงานเฉพาะทางนี้ทำได้ดีกว่า baselines f16 ทั่วไป

ประเด็นสำคัญ

• Needle 2 คือโมเดล tool-calling ขนาด 45M-parameter ในรูปแบบไฟล์ binary 14MB ใช้ RAM เพียง 28MB
• เทคโนโลยี CQ2-bit ถูกนำมาใช้ตั้งแต่ขั้นตอนฝึกสอน (pretraining) ทำให้โมเดลที่ใช้งานจริงมีประสิทธิภาพสูงสุดตรงตามที่ฝึกมา
• ครองอันดับหนึ่งในเกณฑ์ Seal-Tools ทั้งแบบ in-domain และ out-of-domain
• ระบบจัดการหน่วยความจำแบบคงที่ ช่วยให้การใช้งาน RAM ไม่เพิ่มขึ้นตามความยาวบทสนทนา
• ระบบ Confidence Score ช่วยให้การสลับการทำงานระหว่าง Edge และ Cloud เป็นไปอย่างแม่นยำและมีประสิทธิภาพ