Mirendil เปิดตัว Fern 0.1 โมเดล AI เขียนโค้ด รองรับ 10 ล้าน Token

Mirendil ประกาศเปิดตัว Fern 0.1 ซึ่งเป็นโมเดล AI ตัวแรกของบริษัทที่พัฒนาขึ้นมาเพื่อเน้นการเขียนโค้ดโดยเฉพาะ โดยมีการสร้างใหม่ตั้งแต่ต้น (Pretrained from scratch) มาพร้อมกับ Context Window ที่สูงถึง 10 ล้าน Token ซึ่งทางผู้พัฒนาเปรียบเทียบว่าสามารถรองรับโค้ดได้มากถึง 23 MB หรือประมาณ 500,000 บรรทัด ช่วยให้นักพัฒนาสามารถโหลดฐานข้อมูลโค้ด (Codebase) ขนาดใหญ่ หรือบันทึกการทำงานของเอเจนท์ (Agent traces) ยาวหลายวันเข้าไปประมวลผลได้ในคราวเดียว

สรุปข้อมูลสำคัญ (TL;DR)

• ขนาดพารามิเตอร์: อยู่ระหว่าง 0.1 ถึง 0.5T (ยังไม่เปิดเผยจำนวน Active Params ที่แน่นอน) รองรับบริบทสูงสุด 10 ล้าน Token
• สถานะปัจจุบัน: เปิดให้เข้าถึงล่วงหน้าผ่านระบบ Hosted เท่านั้น ยังไม่มีการเปิด Open Weights หรือเวอร์ชัน Quantized ในขณะนี้
• ประสิทธิภาพ: โดดเด่นในด้านการดึงข้อมูลระยะยาว (Long-context retrieval) แต่ด้านการเขียนโค้ดเชิงเอเจนท์ (Agentic coding) ยังอยู่ในระดับกลางเมื่อเทียบกับโมเดลระดับแนวหน้าในตลาด
• จุดเด่นที่สุด: ทำคะแนน RULER single-needle ได้แม่นยำ 100% ในทุกระดับความยาวตั้งแต่ 32K ถึง 10 ล้าน Token
• จุดที่ต้องพัฒนา: ทำคะแนน Terminal Bench 4.0 ได้เพียง 6.1% ซึ่งยังตามหลังโมเดลระดับแนวหน้าอย่าง Claude Opus 5.5 ที่ทำได้ 66.4% อยู่มาก

Mirendil Fern คืออะไร?

Fern เป็นโมเดลภาษาจากห้องปฏิบัติการวิจัย Mirendil ที่มุ่งเน้นการใช้งานเพื่อการวิจัยและพัฒนา AI โดยเฉพาะ ไม่ใช่เพื่อการแชททั่วไป โดย Mirendil วางเป้าหมายการใช้งานไว้ 6 ด้านหลัก ได้แก่ การทำงานกับฐานข้อมูลโค้ดขนาดใหญ่, การเขียนโค้ดเชิงเอเจนท์แบบทดสอบซ้ำจนผ่าน, การสร้าง Data Pipelines สำหรับงานวิจัย, การแก้จุดบกพร่องจาก Log และ Stack traces ที่ยาวเหยียบ, การตรวจสอบร่องรอยการเทรน และการตรวจสอบข้อมูล Pretraining เพื่อคัดกรองขยะข้อมูล

กระบวนการสร้าง Fern

โมเดลนี้พัฒนาต่อยอดมาจาก Mirendil-Base โดยใช้เวลา Pretrain เพียง 3.5 เดือน ด้วยฝีมือนักวิจัยเพียงคนเดียวร่วมกับเอเจนท์ AI ซึ่งทำหน้าที่เขียนโค้ดให้มากกว่า 99% ภายใต้งบประมาณประมวลผลต่ำกว่า 10 ล้านดอลลาร์สหรัฐ ข้อมูลที่ใช้เทรนมาจากแหล่งสาธารณะ เช่น GitHub และหน้าเว็บ โดยไม่มีการใช้การทำ Distillation ข้อมูลสังเคราะห์ (Synthetic data) หรือข้อมูลที่มีลิขสิทธิ์

ปัจจุบัน Fern เป็นโมเดลที่มีขนาดเล็กที่สุดในแผนงาน 3 รุ่น โดยยังมีรุ่น Mirendil-Base-Large (0.5 ถึง 2T) ที่เทรนไปแล้วกว่า 80% และรุ่น Mirendil-Base-XL (2 ถึง 10T) ที่ดำเนินการไปแล้วกว่า 20%

ประสิทธิภาพในบริบทระยะยาว

จากการทดสอบการทำ Next-token prediction บนฐานข้อมูลโค้ดของตนเอง พบว่าค่า Loss (ความผิดพลาด) ของ Fern ลดลงอย่างต่อเนื่องเมื่อขยายขนาด Window จาก 32K-byte ไปจนถึง 23M-byte อย่างไรก็ตาม เมื่อเปรียบเทียบที่ขนาด 1 ล้าน Token พบว่า Fern ทำคะแนนได้ 0.165 ซึ่งยังเป็นรองโมเดล Kimi-K3 ที่ทำได้ 0.140 แต่จุดแข็งของ Fern คือความสามารถในการรักษาประสิทธิภาพที่เสถียรในระดับที่เกินกว่าขีดจำกัดของโมเดลอื่น

สำหรับการทดสอบบนเกณฑ์มาตรฐาน RULER ผลลัพธ์แสดงให้เห็นถึงความแม่นยำในการดึงข้อมูลที่ยอดเยี่ยมดังนี้:

แม้การดึงข้อมูลจะทำได้ดี แต่การใช้เหตุผลแบบหลายขั้นตอน (Multi-hop reasoning) เริ่มมีประสิทธิภาพลดลงเหลือ 45% เมื่อถึงระดับ 10 ล้าน Token ซึ่งทาง Mirendil กำลังเร่งปรับปรุงผลลัพธ์ในส่วนนี้เพิ่มเติม

การทดสอบในเชิงเอเจนท์ (Agentic Benchmark)

เมื่อเทียบกับโมเดลระดับแนวหน้า Fern 0.1 ยังมีช่องว่างในการพัฒนา โดยเฉพาะในเกณฑ์วัดการทำงานอัตโนมัติ:

แม้ในภาพรวมจะยังตามหลัง Frontier Models แต่ Fern 0.1 สามารถเอาชนะโมเดลอย่าง Inkling และ Nemotron 3 Ultra ได้ในเกือบทุกการทดสอบ และทำคะแนนได้ใกล้เคียงกับโมเดล Beam ในบางหัวข้อ สิ่งที่น่าสนใจคือ Fern สามารถทำงานได้ภายใต้ข้อจำกัดของงบประมาณและทรัพยากรบุคคลที่น้อยกว่าคู่แข่งอย่างมากในขั้นตอนการสร้างโมเดลฐาน