Moonshot AI เปิดตัว 'AgentENV' โอเพนซอร์สระบบ MicroVM ความเร็วสูง ขับเคลื่อนการฝึก Agentic RL ให้ Kimi K3

ทีม Kimi ของ Moonshot AI และ kvcache-ai ได้ประกาศเปิดตัวโอเพนซอร์ส AgentENV (AENV) แพลตฟอร์มแบบกระจายตัวสำหรับรันสภาพแวดล้อมเอนเจนต์ (agent environments) ในระดับสเกลใหญ่

ระบบ AgentENV ทำหน้าที่สำคัญในการขับเคลื่อนการฝึกฝน agentic reinforcement learning (RL) สำหรับ Kimi K3 ซึ่งเป็นโมเดล Mixture-of-Experts ขนาด 2.8 ล้านล้านพารามิเตอร์ของ Moonshot โดยซอร์สโค้ดทั้งหมดถูกเผยแพร่ภายใต้ ลิขสิทธิ์ MIT

ทำไมโครงสร้างพื้นฐานของสภาพแวดล้อมจึงเป็นตัวฉุดรั้ง Agentic RL

การฝึก Agentic RL มีความซับซ้อนกว่าการสุ่มตัวอย่างข้อความทั่วไป เพราะโมเดลต้องลงมือปฏิบัติการในคอมพิวเตอร์จริงๆ ซึ่งทุกการเปิดใช้งาน (rollout) จำเป็นต้องมีสภาพแวดล้อม Linux ที่แยกส่วนกันโดยเด็ดขาด ทั้งระบบไฟล์ เน็ตเวิร์กสแต็ก และกระบวนการทำงานจริง

ที่ผ่านมา ผู้พัฒนาต้องเลือกระหว่างคอนเทนเนอร์ที่ทำงานเร็วแต่การแยกส่วนระดับเคอร์เนลยังอ่อนแอ หรือ Virtual Machine (VM) เต็มรูปแบบที่แยกส่วนได้ดีแต่บูตช้าและกินทรัพยากรสูง AgentENV จึงถูกพัฒนามาเพื่อปิดช่องว่างนี้โดยใช้ Firecracker microVM ที่จัดการการรีสตาร์ทและการแยกสาขา (branching) ได้รวดเร็วและประหยัดพอสำหรับสเกลการฝึกฝนขนาดใหญ่

เจาะลึกสถาปัตยกรรม Firecracker ของ AgentENV

Sandbox แต่ละตัวใน AgentENV คือ Firecracker microVM ที่มี Linux kernel และระบบไฟล์ของตัวเอง โดยมี Axum HTTP API รับคำร้องขอและส่งต่อไปยัง Orchestrator ที่ดูแลวงจรชีวิตของระบบ

ด้านการจัดเก็บข้อมูลมีการออกแบบที่น่าสนใจ โดยใช้ระบบไฟล์แบบเลเยอร์ overlaybd ผ่านอุปกรณ์บล็อก ublk ในพื้นที่ผู้ใช้ ทำให้เลเยอร์พื้นฐานแบบอ่านอย่างเดียวสามารถแชร์ข้าม Sandbox ต่างๆ ได้ และแต่ละตัวจะเขียนข้อมูลเพิ่มเฉพาะในเลเยอร์บนสุดของตนเองเท่านั้น

ภายในระบบยังมีเดมอน envd คอยจัดการคำสั่งและการรายงานสถานะผ่านพอร์ต 49983 พร้อมระบบ Page cache ของโฮสต์ที่ช่วยแชร์หน่วยความจำและ Snapshot ร่วมกัน นอกจากนี้ยังมีกลไก Memory ballooning เพื่อคืนหน่วยความจำที่ไม่ได้ใช้กลับสู่โฮสต์ ช่วยให้สามารถบริหารจัดการทรัพยากรแบบ overcommit ได้อย่างมีประสิทธิภาพ

การ Snapshot, pause, resume และ fork

ฟีเจอร์สำคัญที่ทำให้โปรเจกต์นี้โดดเด่นคือความเร็วในการจัดการสถานะ โดย AgentENV จะใช้การ Snapshot หน่วยความจำและระบบไฟล์แบบเพิ่มส่วน (incrementally) แทนการเขียนไฟล์เต็มรูปแบบทุกครั้ง

จากการทดสอบพบว่าสภาพแวดล้อมที่รองรับ Snapshot สามารถบูตหรือ Resume ได้ในเวลาต่ำกว่า 50 ms หยุดชั่วคราว (Pause) และทำ Snapshot ได้ภายในเวลาไม่ถึง 100 ms แม้จะมีการแก้ไขข้อมูลในดิสก์จำนวนมากก็ตาม

นอกจากนี้ยังมีฟีเจอร์ Fork ที่ออกแบบมาเพื่อ RL โดยเฉพาะ ซึ่ง Sandbox ที่ทำงานอยู่สามารถโคลนตัวเองเป็น Sandbox ลูกที่อิสระจากกันได้สูงสุด 16 ตัว บนโหนดเดียวกัน ทำให้การตั้งค่าที่ซับซ้อนทำเพียงครั้งเดียวแล้วแตกสาขาเพื่อทำ rollout แบบขนานได้ทันที โดย Snapshot เหล่านี้สามารถจัดเก็บไว้ใน S3 หรือระบบไฟล์แบบกระจายตัวได้

การโหลดแบบตามความต้องการ (On-demand loading) และคลัง snapshot

รูปภาพระบบ (Images) จะถูกโหลดตามความต้องการผ่าน overlaybd โดยมีดิสก์ในเครื่องทำหน้าที่เป็นแคชเก็บข้อมูลที่ใช้งานบ่อย (hot data) ช่วยให้โหนดต่างๆ ไม่จำเป็นต้องเตรียมความพร้อมล่วงหน้า (pre-warm) หรือเก็บสำเนาฉบับเต็มของทุก Snapshot ไว้

สถาปัตยกรรมนี้ยังรองรับการจัดการ Snapshot สามชั้น ได้แก่ พื้นที่ทำงาน Builder สำหรับสร้าง Artifacts, คลังเก็บ Snapshot ที่ยืนยันแล้ว (committed) และแคชรันไทม์เฉพาะเครื่อง โดยรองรับแบ็กเอนด์ทั้งแบบ posix_fs และ oss (S3)

นอกจากนี้ยังมีระบบส่งข้อมูลแบบ Peer-to-peer (P2P) ผ่านโปรโตคอล iroh เพื่อส่งกระจาย Artifacts ระหว่างโหนดใกล้เคียง ซึ่งแม้จะปิดเป็นค่าเริ่มต้น แต่ผู้ใช้สามารถเปิดใช้งานได้หากมีเครือข่ายความเร็วสูงระดับ 1-10 Gbps ขึ้นไป

ความเข้ากันได้กับ E2B ช่วยให้ใช้งานได้ทันที

AgentENV มาพร้อมกับ API ที่รองรับ E2B-compatible HTTP API เพียงแค่ตั้งค่า E2B_API_URL ปลายทางมาที่เซิร์ฟเวอร์ AgentENV นักพัฒนาสามารถใช้ SDK ของ E2B ทั้ง Python และ TypeScript ในการรันงานได้ทันทีโดยไม่ต้องแก้ไขโมเดลเดิม

แนวทางนี้ช่วยให้ทีมที่รัน AI Agent บน E2B อยู่แล้วสามารถปรับมาโฮสต์รันไทม์ด้วยตัวเองได้ง่ายขึ้น หรือจะเลือกใช้ aenv CLI สำหรับเวิร์กโฟลว์เฉพาะของ AgentENV ก็ได้เช่นกัน

เส้นทางการติดตั้ง (Deployment paths)

สำหรับการติดตั้ง AgentENV ต้องการ Linux kernel เวอร์ชัน 6.8 ขึ้นไป และรองรับสถาปัตยกรรม x86_64 และ arm64 โดยระบบเซิร์ฟเวอร์หลักต้องใช้งานบน Linux เท่านั้นเนื่องจากต้องเข้าถึง KVM

ปัจจุบันมีการระบุเส้นทางการติดตั้งไว้ 5 รูปแบบ ได้แก่:

• สคริปต์ติดตั้งอัตโนมัติเป็นบริการ systemd
• Docker image ผ่าน ghcr.io
• ชุด Docker Compose สำหรับจำลองคลัสเตอร์
• Kubernetes manifests สำหรับการใช้งานระดับองค์กร
• การสร้างจากซอร์สโค้ดด้วย Rust

การเปิดตัว AgentENV ครั้งนี้ถือเป็นก้าวสำคัญในการทำโครงสร้างพื้นฐานสำหรับ AI Agent ให้เป็นมาตรฐานโอเพนซอร์ส ซึ่งจะช่วยเร่งความเร็วในการวิจัยและพัฒนาโมเดลภาษาขนาดใหญ่ในอนาคตต่อไป