Liquid AI เปิดตัว RIPL เอ็นจิน Inference เรียลไทม์ เร็วกว่า vLLM สูงสุด 28 เท่า

Liquid AI เพิ่ง announced Liquid RIPL ย่อมาจาก Real-time Inference Pipeline โดย RIPL เป็นเอ็นจินที่มีความหน่วงต่ำ (low-latency) ซึ่งทำหน้าที่ให้บริการ Liquid Foundation Models (LFMs) ภายในเส้นทางคำขอแบบสด (live request path)

ระบบนี้สามารถส่งคืนการตอบสนองที่สร้างขึ้นอย่างสมบูรณ์แบบ end-to-end ภายในเวลาไม่ถึง 50 ms นอกจากนี้ยังระบุว่าสามารถรักษาความหน่วงไว้ได้แม้มีทราฟฟิกเข้ามาอย่างต่อเนื่องในช่วงที่มีโหลดสูงสุด สำหรับนักพัฒนา นี่คือการเปลี่ยนจาก gradient-boosted trees มาเป็น generative model โดยที่ยังรักษา latency budget เอาไว้ได้ตามเดิม

TL;DR

• Engine: ให้บริการโมเดล LFM2.5 ตั้งแต่ขนาด 230M ถึง 2.6B พารามิเตอร์
• Runs on: รองรับการใช้งานระดับองค์กรบน NVIDIA H100, H200, B200 และ RTX PRO 6000 GPUs โดยผลทดสอบหลักใช้ B200 เพียงตัวเดียว
• Performance: p95 latency ต่ำกว่า Qwen3.5 บน vLLM ถึง 5.6 ถึง 28.4 เท่า จากการทดสอบของ Liquid AI เอง
• ดีที่สุด: LFM2.5-1.2B ทำ p95 ได้ที่ 155.8 ms เทียบกับ 4,431 ms สำหรับ Qwen3.5-0.8B ซึ่งต่างกันถึง 28.4 เท่า (256 in, 128 out)
• แย่ที่สุด: LFM2.5-2.6B ได้เปรียบ 5.6 เท่า (449.1 ms เทียบกับ 2,499 ms) และไม่สามารถทำระดับ sub-50 ms ได้ในกรณีที่คำขอยาวขึ้น

Liquid RIPL แก้ปัญหาอะไร?

Serving stacks ส่วนใหญ่มักมุ่งเป้าไปที่ batch ขนาดใหญ่และงานประเภท agentic ที่ใช้เวลานาน ซึ่งการรอไม่กี่วินาทีต่อหนึ่งคำขอนั้นยอมรับได้ แต่สำหรับงานอย่างการจัดอันดับการค้นหา (search ranking), การตรวจสอบการฉ้อโกง และการอนุมัติการชำระเงิน จำเป็นต้องได้คำตอบในระดับมิลลิวินาที

Liquid AI ชี้ให้เห็นว่าที่ผ่านมาหลายทีมมักเลือกใช้โมเดลแบบดั้งเดิมแทน LLM เพราะการให้บริการ LLM นั้นช้าเกินไป RIPL จึงถูกสร้างขึ้นมาเพื่อขจัดข้อจำกัดด้านความเร็วนี้โดยเฉพาะ

RIPL ทำงานอย่างไร?

Liquid AI อธิบายว่า RIPL คือการปรับแต่งเส้นทางประมวลผลทั้งหมดให้เหมาะสม ตั้งแต่คำขอเริ่มเข้ามาจนถึงการตอบสนองเสร็จสิ้น ในการทดสอบเวิร์กโหลดหลายประเภท Liquid AI แสดงกราฟเปรียบเทียบโมเดล LFM2.5-350M ทั้งบน vLLM และ RIPL พบว่าค่า p95 ของ RIPL อยู่ต่ำกว่า vLLM อย่างมากในทุกกรณี ซึ่งพิสูจน์ว่าประสิทธิภาพที่เพิ่มขึ้นส่วนหนึ่งมาจากตัวเอ็นจิน ไม่ใช่แค่สถาปัตยกรรมของโมเดลเท่านั้น

สำหรับตัวโมเดล LFM2.5 models นั้นเป็นสถาปัตยกรรมแบบไฮบริด โดยรุ่น 1.2B-Instruct มี 16 เลเยอร์ (10 double-gated convolution blocks และ 6 GQA blocks) ส่วนรุ่น LFM2.5-2.6B มี 30 เลเยอร์ (22 convolution blocks และ 8 GQA blocks)

RIPL benchmarks: เร็วแค่ไหนเมื่อเทียบกับ vLLM?

Liquid วัดค่า p95 end-to-end latency ภายใต้การจำลองโหลดแบบ open-loop Poisson arrivals บน NVIDIA B200 หนึ่งตัว โดยนำ LFMs ที่รันบน RIPL ไปเทียบกับมาตรฐานอย่าง MiniCPM5 และ Granite 4.2 ที่รันบน vLLM

ที่มา: Liquid AI blog, Figure 2 รายงานโดยบริษัทเอง

นอกจากนี้ Liquid AI ยังสรุปงบประมาณเวลา (Latency Budget) ใน 6 เวิร์กโหลดจริง:

• Adtech query rewriting: 32 in, 32 out, งบ 50 ms (ใช้ LFM2.5-350M)
• Search intent classification: 128 in, 1 out, งบ 20 ms
• Search reranking: 1k in, 1 out, งบ 30 ms
• Payments risk scoring: 512 in, 16 out, งบ 50 ms (ใช้ LFM2.5-1.2B)
• Credit decisioning: 8k in, 64 out, งบ 150 ms
• Image alt text: ภาพ 512×512 และ 64 tokens in, 16 out, งบ 100 ms (ใช้ LFM2.5-VL-450M)

การเปรียบเทียบกับคู่แข่ง

RIPL ถูกใช้งานจริงแล้วหรือไม่?

ปัจจุบัน Shopify ได้เริ่มใช้งาน LFMs ในเวิร์กโหลดด้านคอมเมิร์ซที่เน้นความเร็วเป็นสำคัญแล้ว โดยเฉพาะในการเพิ่มประสิทธิภาพการค้นหา ซึ่งสามารถทำ inference ได้ต่ำกว่า 20 ms ในระบบจริง

ข้อมูลจากบล็อกของ Liquid AI ยังระบุด้วยว่าระบบของพวกเขาใช้พารามิเตอร์น้อยกว่าคู่แข่งราว 50% แต่ให้ความเร็วในการทำ inference สูงกว่า 2 ถึง 10 เท่า

ประเด็นสำคัญ

• RIPL คือเอ็นจินเฉพาะของ Liquid AI สำหรับรันโมเดลในงานที่ต้องการคำตอบแบบทันที
• ผลการทดสอบอ้างว่า p95 latency ต่ำกว่าการรัน Qwen3.5 บน vLLM ระหว่าง 5.6 ถึง 28.4 เท่า
• ประสิทธิภาพที่เหนือกว่ามาจากทั้งตัวเอ็นจิน RIPL เองและสถาปัตยกรรมของโมเดล LFM2.5
• Shopify นำไปใช้จริงแล้วในระบบค้นหาด้วยความเร็วที่ต่ำกว่า 20 ms
• บริการนี้เป็นแบบ Enterprise-only (ระบบปิด) และตัวเลขสมรรถนะทั้งหมดอ้างอิงจากรายงานของบริษัทผู้พัฒนาเท่านั้น