Sarvam เปิดตัว Token Factory บริการ Inference ในอินเดีย

· By: AttapolK

Sarvam เปิดตัว Token Factory บริการ Inference ในอินเดีย

Sarvam ประกาศเปิดตัว Sarvam Token Factory ให้ใช้งานทั่วไปแล้ว โดยเป็นแพลตฟอร์ม inference ที่ให้บริการทั้งโมเดลของตัวเองและโมเดลแบบ open-weight จาก GPU cluster ที่ตั้งอยู่ในประเทศอินเดียโดยเฉพาะ

นักพัฒนาสามารถเข้าถึงทุกโมเดลได้ผ่าน one OpenAI-compatible API เพียงตัวเดียว ซึ่งช่วยให้ทีมพัฒนาในอินเดียได้รับบริการที่มีค่า latency ต่ำมาก เนื่องจากไม่ต้องส่ง traffic ไปยัง cloud ในต่างประเทศ โดยผู้ที่สนใจสามารถตรวจสอบสเปกเพิ่มเติมได้ผ่าน GPULeaderboard.com chrome extension

TL;DR

  • ขนาด: เปิดตัวด้วย 8 โมเดลหลัก ได้แก่ Sarvam 105B (105B total, 9B active, 128K context), GLM 5.3, DeepSeek V4.1 Flash 1017, Kimi K3.1 Pro และ Gemma 4 31B
  • ระบบประมวลผล: รันบน NVIDIA B200 cluster ในอินเดีย โดยโมเดล Sarvam 105B สามารถรันบน B200 เพียง 1 เครื่องต่อ 1 replica และมีบริการติดตั้งแบบ On-premise สำหรับองค์กร
  • ประสิทธิภาพ: จากการทดสอบของ Sarvam พบว่าให้ความเร็ว first token สูงที่สุดเมื่อเรียกใช้งานจากมุมไบในกรณีส่วนใหญ่
  • จุดเด่น: Kimi K3.1 Pro ทำความเร็วได้ 6,177 tokens/s ต่อ GPU ซึ่งเร็วกว่า InferenceX ถึง 1.9 เท่า

Sarvam Token Factory คืออะไร?

แพลตฟอร์มนี้คือ managed inference stack ที่รวบรวมโมเดลหลากหลายไว้ในที่เดียว ซึ่ง Sarvam เคย เผยโฉมแรกในชื่อ Sarvam Inference ที่งาน Epoch โดยปัจจุบันรองรับโมเดลอย่าง Sarvam 105B, GLM 5.3, GLM 5.3 Flash, DeepSeek V4.1 Flash 1017, DeepSeek V4 Pro, Kimi K3, Kimi K3.1 Pro และ Gemma 4 31B

ตามข้อมูลใน docs จะแบ่งการให้บริการเป็น 2 รูปแบบ คือโมเดลแบบ Pay-as-you-go ที่รันบน shared endpoint และโมเดลที่ต้องการ Provisioned Throughput เช่น DeepSeek V4 Pro และ Kimi K3.1 Pro ซึ่งจะเปิดให้ใช้งานเฉพาะรายองค์กรเท่านั้น

หลักการทำงาน

โครงสร้างระบบของ Sarvam ประกอบด้วย 3 เลเยอร์ที่ทำงานล้อมรอบ shared cache ได้แก่ Control plane สำหรับการทำ cache-aware router และวางแผนการทำงาน, Inference engine ที่แยก GPU pool ระหว่างขั้นตอน prefill และ decode และส่วนของ Cache ที่ใช้หน่วยความจำ GPU ร่วมกับ shared G3 store บนระบบ Mooncake

ระบบนี้พัฒนาต่อยอดมาจากเทคโนโลยี open-source หลายตัว เช่น vLLM, SGLang, Dynamo และ FlashInfer โดยมี orchestrator agent คอยเสนอแนวทางการทดลอง และมีวิศวกรเป็นผู้อนุมัติการติดตั้งจริงในแต่ละขั้นตอน

การทำ Caching คือหัวใจหลักที่ช่วยเพิ่มประสิทธิภาพ โดย DeepSeek V4.1 Flash สามารถให้บริการได้กว่า 4.5 แสนล้าน tokens ต่อวัน ซึ่ง 95.7% ของ prompt tokens ถูกเรียกใช้จาก cache นอกจากนี้ในรุ่น Sarvam 105B ยังมีการใช้ MXFP8 weights ร่วมกับ speculative decoding ช่วยเพิ่ม output throughput ได้ถึง 2.2 เท่า โดยไม่สูญเสียความแม่นยำ

ผลการทดสอบความเร็ว (Benchmarks)

ข้อมูลตัวเลขทั้งหมดนี้อ้างอิงจากการรายงานโดย โพสต์เปิดตัวของ Sarvam เอง:

  • Sarvam 105B: ใช้เวลาเพียง 0.2 วินาทีสำหรับ first token และทำความเร็วได้ 330 tokens/s สำหรับผู้ใช้รายเดียว
  • Gemma 4 31B: เมื่อทดสอบจากมุมไบด้วย 10K prompt ใช้เวลา 0.40 วินาทีสำหรับ first token เร็วกว่าคู่แข่งที่ใช้เวลาถึง 2.00 วินาที
  • Kimi K3.1 Pro: บนระบบ B200 16 เครื่อง ทำได้ 6,177 tokens/s ต่อ GPU เหนือกว่า InferenceX ที่ทำได้ 3,213 tokens/s

อย่างไรก็ตาม ผลการทดสอบไม่ได้ชนะขาดในทุกด้าน โดยในรุ่น DeepSeek V4.1 Flash ทาง Together AI ยังคงทำเวลา first token ได้ดีกว่าที่ 0.71 วินาที และมีความเร็วในการสตรีมข้อมูลสูงกว่า Sarvam Standard

อัตราค่าบริการ

ราคาที่ระบุในเอกสารคู่มือมีหน่วยเป็นรูปีอินเดียต่อ 1 ล้าน tokens ดังนี้:

โมเดลInput / Output (₹ ต่อ 1M)
Sarvam 105B₹10 / ₹25 (ราคาโปรโมชัน)
GLM 5.3₹126 / ₹390
GLM 5.3 Flash₹13.5 / ₹45
Gemma 4 31B₹35 / ₹90
DeepSeek V4.1 Flash 1017₹14 / ₹55 (ราคาโปรโมชัน)

สำหรับราคาโปรโมชันจะใช้งานได้ถึงสิ้นปี 2026 ส่วนบริการระดับที่เร็วกว่าอย่าง DeepSeek Interactive จะมีราคาสูงขึ้นตามคุณภาพการให้บริการ

บทสรุปที่น่าสนใจ

Sarvam Token Factory ถือเป็นก้าวสำคัญของอินเดียในการสร้างโครงสร้างพื้นฐาน AI ของตนเอง โดยชูจุดเด่นเรื่องราคาที่เข้าถึงได้และประสิทธิภาพต่อ GPU ที่สูงขึ้น แม้ว่าผู้ให้บริการระดับโลกอย่าง Together AI จะยังคงรักษาความเร็วในการสตรีมบางโมเดลได้ดีกว่า แต่การมี data center ในประเทศถือเป็นข้อได้เปรียบหลักสำหรับนักพัฒนาท้องถิ่น

Source: MarkTechPost
ดูแลงานแปลและเรียบเรียงโดย AttapolK

ความคิดเห็น (0)

เข้าสู่ระบบเพื่อร่วมแสดงความเห็น

สมัครสมาชิก

มาเป็นคนแรกที่แสดงความเห็นกันเลยโบร