Liquid AI เปิดตัว Pipette เครื่องมือ Open-Source วัดประสิทธิภาพ AI บนอุปกรณ์แบบครบวงจร

โดยปกติแล้ว Model card มักรายงานประสิทธิภาพภายใต้สภาวะเซิร์ฟเวอร์และความแม่นยำเต็มรูปแบบ ซึ่งตัวเลขเหล่านี้แทบจะไม่สามารถคาดการณ์พฤติกรรมของโมเดลเมื่อนำไปใช้งานจริงบนสมาร์ทโฟนได้ ในสัปดาห์นี้ Liquid AI จึงได้เปิดตัว Pipette แพลตฟอร์ม open-source สำหรับทดสอบประสิทธิภาพโมเดลพื้นฐานบนอุปกรณ์ปลายทาง (edge devices)

โครงการนี้สร้างขึ้นร่วมกับ Artificial Analysis ในฐานะผู้ตรวจสอบความถูกต้องของวิธีการที่เป็นอิสระ โดย Pipette มองว่าพฤติกรรมบนอุปกรณ์เป็นคุณสมบัติของระบบที่ถูกใช้งานจริง (deployed system) ไม่ใช่แค่ตัวโมเดลเพียงอย่างเดียว หน่วยวัดของมันจึงกำหนดจากองค์ประกอบครบชุด ได้แก่ model + quantization + runtime + device

ชุดข้อมูลเปิดตัวครอบคลุมตัวชี้วัดประสิทธิภาพบนอุปกรณ์ 5 รายการ จากการกำหนดค่ารวมกันมากกว่า 1,000 รูปแบบ ครอบคลุมกว่า 30 โมเดล รวมถึง llama.cpp builds สำหรับ macOS, iOS, Windows และ Android โดยมีความยาว context ตั้งแต่ 256 ถึง 8,192 tokens ผลลัพธ์เบื้องต้นที่ผ่านการตรวจสอบมาจาก MacBook Pro ชิป M5 Max, iPhone 17 Pro และ Galaxy S26 Ultra ซึ่งเผยให้เห็นข้อเท็จจริงที่น่าสนใจ เช่น โมเดลขนาด 350M สองตัวที่ผ่านการ quantization เดียวกันบนโทรศัพท์เครื่องเดียวกัน กลับรักษาความเร็ว decode throughput ได้ต่างกันอย่างสิ้นเชิงที่ 78.4% และ 33.8% เมื่อทดสอบที่ 4,096 tokens

มันสามารถนำไปใช้งานได้จริงหรือไม่?

คำตอบคือ ใช่ เพราะ Pipette ถูกส่งมอบในรูปแบบโครงสร้างพื้นฐานลิขสิทธิ์ Apache 2.0 ประกอบด้วย pipette-mgmt, pipette-clients, pipette-scores พร้อมชุดข้อมูลสาธารณะ dashboard และแอป benchmark บน iOS และ Android โดยไม่มีการรอคิวใช้งาน ส่วนฟีเจอร์การส่งผลลัพธ์จากชุมชนยังอยู่ในช่วงเบต้า

เครื่องมือนี้เหมาะสำหรับทีมพัฒนาที่ต้องส่งโมเดลไปยังฮาร์ดแวร์หลากหลาย ตั้งแต่นักพัฒนาอิสระที่ใช้แอปและแดชบอร์ดได้ทันที ไปจนถึง OEM รายใหญ่ ผู้ผลิตชิป และองค์กรที่ต้องการทดสอบประสิทธิภาพภายในไฟร์วอลล์ของตนเอง ครอบคลุมอุตสาหกรรมสมาร์ทโฟน ยานยนต์ หุ่นยนต์ อุปกรณ์การแพทย์ และการเงิน ซึ่งความหน่วงและความเป็นส่วนตัวบังคับให้ต้องประมวลผลบนอุปกรณ์เท่านั้น

สิ่งที่ Liquid AI เปิดตัว

Liquid AI เปิดตัว Pipette ร่วมกับ Artificial Analysis ผู้ตรวจสอบอิสระที่ยืนยันว่าพฤติกรรมบนอุปกรณ์เป็นเรื่องของระบบโดยรวม ชุดข้อมูลเริ่มต้นมีการกำหนดค่า model × quantization × runtime × device × context มากกว่า 1,000 รายการ โดยมีผลลัพธ์จากอุปกรณ์รุ่นล่าสุดอย่าง MacBook Pro M5 Max, iPhone 17 Pro และ Galaxy S26 Ultra ส่วนผลทดสอบของ AMD Ryzen AI Max+ 395 และ Radeon 8060S กำลังจะตามมาเร็วๆ นี้

ในระบบ Pipette การวัดผลจะกำหนดตัวชี้วัดและรูปแบบ token เพื่อดูผลลัพธ์ด้านความหน่วง (latency), throughput และการใช้หน่วยความจำ ส่วนคุณภาพด้านสติปัญญาจะถูกติดตามแยกต่างหากใน IFBench, GPQA Diamond และ MATH-500 โดยคะแนนคุณภาพในปัจจุบันมาจากการรันบนระบบอ้างอิง NVIDIA H100 80GB แล้วนำมาจับคู่กับโมเดลที่ใช้ quantization เดียวกันบนอุปกรณ์ปลายทาง

ทำไมบริบทการนำไปใช้งานจึงเปลี่ยนคำตอบ

การเปรียบเทียบผลลัพธ์ 4 กรณีแสดงให้เห็นว่าการตั้งค่าที่ต่างกันส่งผลต่อการตัดสินใจอย่างมาก:

• การขยาย Context ต่างกันแม้พารามิเตอร์เท่ากัน: บน Galaxy S26 Ultra ที่ Q4_K_M โมเดล Granite-4.0-H-350M รักษาความเร็วได้ถึง 78.4% แต่ Granite-4.0-350M เหลือเพียง 33.8% เมื่อเพิ่ม token จาก 256 เป็น 4,096
• Sparse activation ช่วยเรื่องความเร็วแต่ไม่ใช่หน่วยความจำ: LFM2.5-8B-A1B ถอดรหัสได้เร็วกว่าคู่แข่งกว่า 2 เท่า แต่ยังใช้หน่วยความจำสูงถึง 5.29 GiB เนื่องจากน้ำหนักพารามิเตอร์ทั้งหมดต้องอยู่ในแรม
• ความเร็วและคุณภาพอาจสวนทางกัน: บน iPhone 17 Pro โมเดล MiniCPM5-1B ทำงานเร็วกว่า LFM2.5-1.2B-Instruct 15.8% แต่ LFM กลับทำคะแนนด้านคณิตศาสตร์ได้สูงกว่าถึง 9.0 จุด
• ประสิทธิภาพระบบใกล้เคียงแต่อาจต่างกันที่เนื้องาน: บนชิป M5 Max โมเดล Granite-4.1-8B และ Ministral-3-8B-Instruct-2512 มีความเร็วและแรมต่างกันไม่ถึง 3% แต่คะแนนทดสอบเชิงตรรกะและวิชาการกลับมีความโดดเด่นคนละด้านอย่างชัดเจน

วิธีการสร้างการวัดผล

การวัดประสิทธิภาพดำเนินตาม ระเบียบวิธีที่เผยแพร่ อย่างเคร่งครัด ทั้งการใช้ greedy decoding การตัดช่วงอุ่นเครื่อง (warm-up) และการทำซ้ำ 5 ครั้งเพื่อความแม่นยำ มีการตรวจสอบสภาวะความร้อนก่อนวัดผล และใช้โปรโตคอลการให้คะแนนแบบไม่ทราบชื่อโมเดล (model-blind) เพื่อความยุติธรรม ทุกการส่งข้อมูลจะบันทึกข้อมูลทางเทคนิคอย่างละเอียด ทั้งเวอร์ชันซอฟต์แวร์ ฮาร์ดแวร์ และการตั้งค่า runtime

วิดีโออธิบายแบบโต้ตอบ

ประเด็นสำคัญ

• Pipette ทดสอบประสิทธิภาพแบบองค์รวม (System Property): model + quantization + runtime + device
• ใช้สัญญาอนุญาต Apache 2.0 ครอบคลุมกว่า 1,000 การกำหนดค่า และโมเดลกว่า 30 รายการ
• การวัดคุณภาพใช้เครื่องอ้างอิง H100 เพื่อเปรียบเทียบกับประสิทธิภาพที่วัดได้จริงบนโทรศัพท์
• การรักษาความเร็วเมื่อขยาย Context อาจแตกต่างกันได้มหาศาลแม้จะเป็นโมเดลขนาดเดียวกัน