Liquid AI เปิดตัว LFM2.5 Encoder รุ่นใหม่ โดดเด่นด้วยความเร็วระดับ 8K แม้ประมวลผลบน CPU

Liquid AI ได้เปิดตัว Bidirectional Encoder แบบ open-weight สองรุ่นใหม่ ได้แก่ LFM2.5-Encoder-230M และ LFM2.5-Encoder-350M ซึ่งเป็น Masked Language Model ที่พัฒนาต่อยอดมาจากโครงสร้าง LFM2 แบบไฮบริด โดยทั้งคู่รองรับบริบท (context) ขนาดใหญ่ถึง 8,192 โทเค็น โดยปกติแล้ว Encoder จะทำหน้าที่เป็นรากฐานสำคัญสำหรับงานด้าน Classifier, การคัดกรองเจตนา (intent router), ตัวกรองความปลอดภัย และตัวตรวจจับข้อมูลส่วนบุคคล (PII) ซึ่งงานเหล่านี้มักต้องรันบนอุปกรณ์ที่ไม่มี GPU และจัดการกับข้อมูลที่มีความยาวมากขึ้นเรื่อยๆ แม้ว่า BERT จะเคยเป็นมาตรฐาน และ ModernBERT ได้ยกระดับความเร็วขึ้นมา แต่ Liquid AI เสนอว่าสถาปัตยกรรม LFM2 นั้นมีประสิทธิภาพสูงกว่า เนื่องจากต้นทุนประมวลผลจะเพิ่มขึ้นในอัตราที่ต่ำกว่าเมื่อข้อมูลยาวขึ้น

จาก Decoder กลายมาเป็น Encoder ได้อย่างไร

Encoder เหล่านี้ไม่ได้เริ่มฝึกฝนใหม่ทั้งหมด แต่ถูกกำหนดค่าเริ่มต้นมาจากโครงสร้าง Decoder รุ่น LFM2.5-230M และ LFM2.5-350M โดยมีการปรับเปลี่ยนสำคัญ 3 ประการ คือ

• เปลี่ยน Causal Attention Mask เป็น Bidirectional Mask เพื่อให้โทเค็นมองข้อมูลได้ทั้งสองทิศทาง
• เปลี่ยน Short Convolutions ของ LFM2 ให้เป็นแบบ Non-causal โดยใช้ Symmetric Center Padding เพื่อให้การผสมผสานข้อมูลครอบคลุมเพื่อนบ้านทั้งสองด้าน
• ฝึกฝนด้วยวิธี Masked Language Modeling (MLM) โดยใช้อัตราการบดบัง (mask rate) สูงถึง 30% ซึ่งเข้มข้นกว่าค่ามาตรฐานเดิมของ BERT ที่ 15% เนื่องจากพบว่าประสิทธิภาพดีกว่าในสเกลระดับนี้

การฝึกฝนแบ่งเป็นสองขั้นตอนหลัก โดยเริ่มจากการสร้างพื้นฐานภาษาทั่วไปด้วย MLM บริบทสั้น 1,024 โทเค็นบนคลังข้อมูลขนาดใหญ่ ก่อนจะขยายบริบทเป็น 8,192 โทเค็นในขั้นตอนที่สอง เพื่อเสริมความเชี่ยวชาญด้านข้อมูลเฉพาะทาง เช่น กฎหมายและภาษาที่หลากหลาย

ในด้านสถาปัตยกรรม ใช้การสลับระหว่าง Gated Short-convolution Blocks และ Grouped-query Attention ตามรายละเอียดใน LFM2 technical report โดยทั้งสองรุ่นมี Hidden Size ที่ 1024 และรองรับคำศัพท์ 65,536 โทเค็น ครอบคลุม 15 ภาษา ภายใต้ใบอนุญาต LFM Open License v1.0

ผลการทดสอบ Benchmark

Liquid AI ประเมินประสิทธิภาพผ่านภารกิจทดสอบ 17 รูปแบบจาก GLUE, SuperGLUE และการจำแนกประเภทหลายภาษา โดยเปรียบเทียบกับโมเดลทั้งหมด 14 รุ่น ผลปรากฏว่า LFM2.5-Encoder-350M ทำคะแนนเฉลี่ยอยู่อันดับที่ 4 (81.02) เป็นรองเพียงโมเดลที่มีขนาดใหญ่กว่า เช่น XLM-R XL ที่มีขนาด 3.5B หรือใหญ่กว่าเกือบ 10 เท่า

ขณะที่ LFM2.5-Encoder-230M ทำคะแนนได้ 79.29 อยู่อันดับที่ 6 ซึ่งสามารถเอาชนะ ModernBERT-base และโมเดลในตระกูล EuroBERT ทั้งกระดาน รวมถึงรุ่น 2.1B ด้วย นอกจากนี้ยังทำคะแนนได้ดีกว่าโมเดลเฉพาะทางด้านการสืบค้นข้อมูลปีก่อนหน้าของ Liquid AI เอง ยืนยันถึงศักยภาพของ Encoder อเนกประสงค์รุ่นนี้

สำหรับการทดสอบนี้ได้เปิดเผยระเบียบวิธีวิจัยแบบ open-sourced ภายใต้ Apache-2.0 เพื่อความโปร่งใส โดยใช้การโหลดน้ำหนักแบบ fp32 และ bf16 autocast พร้อมควบคุมตัวแปรต่างๆ เช่น Learning Rate และ Version ของหมาหมวดหมู่ Library ให้เสถียรที่สุด

กรณีการใช้งานและสภาพแวดล้อมในการปรับใช้

โมเดลรุ่นนี้เน้นการใช้งานใน 3 สภาพแวดล้อมหลัก ได้แก่ อุปกรณ์ Edge หรือระบบฝังตัวในรถยนต์ที่ไม่มี GPU, ระบบภายในองค์กร (On-premise) ที่ต้องรักษาความปลอดภัยของข้อมูลสูง เช่น ภาคการเงินและกฎหมาย และสุดท้ายคือระบบประมวลผลปริมาณมากที่ต้องการใช้ Encoder ขนาดเล็กเป็นด่านคัดกรองแรกเพื่อลดต้นทุน

ด้วย Context Window ขนาด 8,192 โทเค็น หรือเทียบเท่าเอกสาร 13-15 หน้า ทำให้สามารถประมวลผลสัญญาหรือประวัติผู้ป่วยทั้งฉบับได้ในการรันเพียงครั้งเดียว ทีมวิจัยยังได้แสดงตัวอย่างบน Hugging Face Space ที่รันบน CPU เท่านั้น เช่น zero-shot prompt routing, PII detector ที่รองรับ 16 ภาษา และเดโม masked-diffusion ที่ทำงานคล้ายแชทบอท

การเริ่มใช้งาน

ผู้ที่สนใจสามารถโหลดโมเดลผ่าน transformers โดยเรียกใช้ Lfm2BidirectionalModel สำหรับโครงสร้างหลัก และ Lfm2BidirectionalForMaskedLM สำหรับการทำงานแบบ MLM ทั้งนี้ต้องตั้งค่า trust_remote_code=True เนื่องจากเป็นการเชื่อมต่อผ่าน auto_map

ทาง Liquid AI แนะนำว่าหากเน้นความแม่นยำสูงสุดควรเลือกใช้รุ่น 350M แต่หากฮาร์ดแวร์มีจำกัดหรือต้องการความรวดเร็วในการประมวลผล (throughput) รุ่น 230M จะเป็นทางเลือกที่เหมาะสมกว่า โดยมี บทเรียนการ fine-tuning เตรียมไว้ให้ศึกษาเพิ่มเติมด้วย

สรุปประเด็นสำคัญ

• Liquid AI เปิดตัว LFM2.5-Encoder สองรุ่น (230M และ 350M) เป็นโมเดล open-weight รองรับบริบท 8,192 โทเค็น
• ใช้เทคนิคเฉพาะในการแปลง Decoder เป็น Encoder ทำให้มีประสิทธิภาพเหนือกว่าโมเดลรุ่นพี่และคู่แข่งในระดับเดียวกัน
• รุ่น 350M คว้าอันดับ 4 ในการทดสอบ Benchmark โดยพ่ายแพ้แค่โมเดลที่ขนาดใหญ่กว่าหลายเท่า
• รุ่น 230M มีความโดดเด่นเรื่องความเร็วบน CPU โดยประมวลผล 8K โทเค็นได้ใน 28 วินาที ซึ่งเร็วกว่า ModernBERT-base ถึง 3 เท่า