NVIDIA โอเพนซอร์ส Run:ai แพลตฟอร์มจัดการ GPU บน Kubernetes

NVIDIA ประกาศปล่อย NVIDIA Run:ai แพลตฟอร์มบริหารจัดการ AI workload และ GPU orchestration ฉบับเต็มในรูปแบบซอฟต์แวร์ open source โดยเผยแพร่ source code ภายใต้ลิขสิทธิ์ Apache 2.0 บน GitHub

การเปิดซอร์สครั้งนี้ช่วยให้นักพัฒนาสามารถเข้าถึงฟีเจอร์ระดับ production ได้ด้วยตนเอง ทั้งการทำ GPU scheduling, การจัดการโควตา และการบริหารจัดการ workload โดย Run:ai จะเข้ามาเป็นส่วนหนึ่งของแพลตฟอร์ม NVIDIA DSX AI Factory ซึ่งทีมดูแลระบบสามารถตรวจสอบ แก้ไข (fork) และทำ self-host ตัว stack ได้โดยไม่ต้องเสียค่าสมาชิก

TL;DR

• ขนาด: เป็น Monorepo ที่รวมทั้ง control plane, cluster services, installer, CLI และ MCP server สำหรับการพัฒนาแบบ local จะมีการสร้าง Go services ประมาณ 50 ตัว
• การใช้งาน: รันบน Kubernetes หรือ OpenShift clusters ที่มี NVIDIA GPUs สำหรับการพัฒนาแบบ local สามารถรันบน macOS หรือ Linux โดยจำลอง Tesla-A10 GPUs ได้ 8 ตัว โดยไม่จำเป็นต้องมี GPU จริง
• ประสิทธิภาพ: NVIDIA ไม่ได้ระบุผลทดสอบ benchmark ของแพลตฟอร์มในเวอร์ชันนี้
• จุดเด่น: มาพร้อม Model Streamer ที่ช่วยโหลดโมเดลได้เร็วขึ้น 3 ถึง 6 เท่า บน VM ที่ใช้ NVIDIA H100 จำนวน 8 ตัวบน Azure
• ข้อควรระวัง: รุ่น community edition จะไม่มีบริการสนับสนุนระดับองค์กร (enterprise support) จาก NVIDIA และการ build แบบ local บน Linux ต้องใช้ RAM 16 GB พร้อมพื้นที่ดิสก์ 100 GB

NVIDIA Run:ai คืออะไร?

NVIDIA Run:ai คือแพลตฟอร์มจัดการ AI workload บน Kubernetes ทำหน้าที่จัดตารางเวลาให้กับการพัฒนา การเทรน และการทำ inference บน cluster ของ GPU ที่ใช้ร่วมกัน โดยระบบจะทำงานร่วมกับ Kubernetes โดยไม่ได้เข้าไปแทนที่

โครงสร้างของระบบแบ่งเป็น control plane ที่จัดการการส่งงานและตรวจสอบทรัพยากร (monitoring) และ cluster services ที่รันบน Kubernetes แต่ละ cluster เพื่อเพิ่มความสามารถด้าน scheduling ที่รองรับ GPU โดยเฉพาะ ผู้ใช้สามารถเข้าถึงได้ผ่าน web UI, CLI, REST API และ MCP server สำหรับผู้ช่วย AI

ส่วนประกอบแบบโมดูลาร์ 4 อย่าง

NVIDIA ได้แบ่งส่วนประกอบสำคัญออกเป็น 4 โมดูล เพื่อให้แต่ละทีมเลือกใช้งานแยกกันได้ตามต้องการ:

• KAI Scheduler - โครงการใน CNCF Sandbox รองรับ gang scheduling, fair-share, topology awareness และ DRA
• GPU Fractioning Operator
• KAI Resource Management
• Workload Map

การรัน NVIDIA Run:ai แบบ local

นักพัฒนาสามารถใช้ คู่มือการพัฒนาแบบ local ผ่านสคริปต์ local-dev.sh ซึ่งจะทำการ build Go services ประมาณ 50 ตัวภายใน container และสร้าง Kind cluster ขนาด 5 node บน Kubernetes v1.32.5 พร้อมจำลอง Tesla-A10 GPUs จำนวน 8 ตัว

ข้อกำหนดสำหรับการรันแบบ local ได้แก่:

• รองรับ macOS หรือ Linux (สถาปัตยกรรม amd64/arm64) แต่ไม่รองรับ Windows
• Linux ต้องการ 4 CPUs, RAM 16 GB และพื้นที่ว่าง 100 GB
• macOS (Podman VMs) ต้องการ RAM อย่างน้อย 12 GB
• การ build เต็มรูปแบบ 1 ครั้ง ใช้พื้นที่ cache ประมาณ 44 GB

สำหรับการใช้งานกับ NVIDIA GPUs ของจริง สามารถใช้แฟล็ก --gpu-operator ได้ ซึ่งต้องใช้งานบน Linux พร้อมติดตั้ง NVIDIA Container Toolkit ทั้งนี้ระบบยังไม่รองรับตัวเร่งความเร็วจาก AMD และ Intel

การติดตั้งใช้งานระดับ Production

ทีมพัฒนาสามารถติดตั้งจากซอร์สโค้ดหรือ Helm chart ของ NGC Community Product ได้โดยไม่มีค่าสมาชิก แต่จะไม่มีบริการสนับสนุนระดับองค์กร

นอกจากนี้ ยังเลือกใช้งานผ่านพันธมิตรในระบบนิเวศ DSX ทั้ง 8 ราย เช่น Crusoe, Mirantis, Nebius, OpenNebula Systems, Rafay, Saturn Cloud, Spectro Cloud และ vCluster โดยรุ่นเชิงพาณิชย์ที่มีการสนับสนุนจะให้บริการผ่าน NVIDIA AI Enterprise และคลาวด์มาร์เก็ตเพลสต่างๆ

โครงการ Open Source อื่นที่เกี่ยวข้อง

NVIDIA ยังเปิดตัวโครงการเสริมอย่าง Model Streamer ที่ช่วยสตรีม model weights เข้าสู่หน่วยความจำ GPU โดยตรง ซึ่ง vLLM และ SGLang รองรับผ่านคำสั่ง --load-format runai_streamer

ผลทดสอบจาก Microsoft บน VM ที่ใช้ NVIDIA H100 8 ตัว พบว่าโหลดโมเดลเร็วขึ้น 3-6 เท่า โดยมี Throughput สูงถึง 80 Gbps นอกจากนี้ยังมี Grove ที่ช่วยจัดการ multicomponent inference workloads แบบ all-or-nothing

เปรียบเทียบกับ Schedulers ตัวอื่น

ข้อแตกต่างที่สำคัญคือ Run:ai เป็นแพลตฟอร์มบริหารจัดการแบบครบวงจรที่ครอบคลุมทั้ง UI, CLI และ API ซึ่งวางอยู่บน scheduler อีกชั้น ขณะที่ตัวเลือกอื่นจะเน้นเฉพาะการทำ scheduling หรือ queueing เท่านั้น