Zyphra เปิดตัว ZONOS3-Mini โมเดล TTS โอเพนซอร์สสุดล้ำ รันบนเบราว์เซอร์ได้

Zyphra เปิดตัว ZONOS3-Mini โมเดล Text-to-speech (TTS) แบบโอเพนซอร์สที่ออกแบบมาเพื่อการใช้งานแบบเรียลไทม์บนอุปกรณ์โดยเฉพาะ โดยใช้สถาปัตยกรรม sparse Mixture of Experts (MoE) ที่มีพารามิเตอร์รวม 800 ล้าน และ Active Parameters เพียง 100 ล้านพารามิเตอร์

โมเดลนี้รองรับการจำลองเสียงแบบ zero-shot และสามารถควบคุมการเปล่งเสียงได้ละเอียดถึงระดับคำ โดยนักพัฒนาสามารถเข้าถึง Weights ได้ภายใต้ลิขสิทธิ์ Apache 2.0 จุดเด่นสำคัญคือขนาดที่กะทัดรัดจนสามารถรันบนแท็บเบราว์เซอร์ แล็ปท็อป หรือ GPU ของเซิร์ฟเวอร์ได้อย่างมีประสิทธิภาพ

TL;DR

• ขนาด: พารามิเตอร์รวม 800 ล้าน (Active ประมาณ 100 ล้านต่อ token), Context 32,768 ตำแหน่ง, สร้างเสียงต่อเนื่องได้สูงสุด 10 นาที
• การรองรับ: รันบน NVIDIA GPU ผ่าน SGLang-Omni, Apple Silicon ผ่าน MLX, CPU/CUDA/Metal/Vulkan ผ่าน ggml และรองรับ WebGPU บนเบราว์เซอร์มือถือหรือแล็ปท็อป
• ประสิทธิภาพ: ครองอันดับหนึ่งในกลุ่มโมเดลเปิดบนดัชนี ZTTS2-Eval Capability Index ของ Zyphra (จากการทดสอบภายใน)
• ความเร็วสูงสุด: ใช้เวลาถึงเสียงแรก (Time to first audio) เพียง 80 ms บนการ์ดจอ H100 หนึ่งเครื่องที่ 8 คำขอพร้อมกัน โดยมีอัตราประมวลผลสูงสุด 457 วินาทีเสียงต่อวินาที
• การใช้งานบนมือถือ: บนเบราว์เซอร์ของ Pixel 9 มีค่า Latency ต่ำกว่า 570 ms ขณะที่ M3 MacBook Air ทำได้ต่ำกว่า 150 ms
• สรุปประเด็น: ข้อดีคือคุณภาพระดับแนวหน้าในขนาดพารามิเตอร์ที่น้อยมาก ส่วนข้อสังเกตคือผลการทดสอบทั้งหมดรันโดย Zyphra เอง และคะแนนการจำลองเสียงจากคลิปอ้างอิงยังต่ำกว่าโหมด embedding

ZONOS3-Mini คืออะไร?

ZONOS3-Mini เป็นโมเดล TTS จำลองเสียงแบบ zero-shot ขนาดกะทัดรัดที่รันแบบเรียลไทม์บนอุปกรณ์ได้ทันที Zyphra ใช้เวลาฝึกฝนเพียง 2.5 วันด้วย NVIDIA H100 จำนวน 112 เครื่อง

โมเดลนี้พัฒนาต่อยอดมาจาก ZONOS2 รุ่นพี่ที่มีพารามิเตอร์สูงถึง 8 พันล้าน ซึ่งการลดขนาดลงในรุ่น Mini ช่วยทลายข้อจำกัดในการนำไปใช้งานในหลากหลายสภาพแวดล้อมมากขึ้น

สถาปัตยกรรม ZONOS3-Mini ทำงานอย่างไร?

Zyphra ได้ปรับปรุงองค์ประกอบสำคัญ 3 ส่วนหลัก ดังนี้:

• Codec ใหม่: พัฒนา Zyphra Audio Codec 1 (ZAC-1) มาแทนที่ Descript Audio Codec โดย ZAC-1 รันที่ 15 Hz พร้อม codebook 10 เล่ม ช่วยลดอัตราความผิดพลาดของคำ (WER) ได้ถึง 10 เท่า และใช้ iSTFT head แบบ causal เพื่อเรนเดอร์เสียง 44.1 kHz ทันทีที่สร้างเฟรมเสร็จ
• โครงสร้าง Hybrid MoE: ตามข้อมูลใน model card โมเดลมี 11 เลเยอร์ ผสมผสานระหว่าง Gated DeltaNet 9 เลเยอร์ และ Global Attention 2 เลเยอร์ พร้อมเสริมเทคโนโลยี Latent MoE และ Q balancing เพื่อประสิทธิภาพสูงสุด
• Speaker encoder ใหม่: เปลี่ยนมาใช้ MECT-B2 แทน Qwen3-TTS รองรับคลิปเสียงอ้างอิงยาวสูงสุด 60 วินาที และใช้เทคนิค DPO ร่วมกับ GRPO ในช่วงหลังการอบรมเพื่อเพิ่มความทนทานของระบบ

การควบคุมเสียงระดับคำทำงานอย่างไร?

ระบบสามารถควบคุมบุคลิกเสียงได้ครอบคลุม ทั้งอายุ เพศ สำเนียง และลักษณะเนื้อเสียงผ่านเวกเตอร์ Speaker Embedding และ Accent Task

ในส่วนของการเปล่งเสียง ผู้ใช้สามารถคุมจังหวะ อารมณ์ และความมีชีวิตชีวาผ่าน Activation Steering โดยมี Alignment Heads ช่วยให้การบังคับทิศทางเสียงมีผลกับคำเฉพาะเจาะจงได้ในขณะสตรีม นอกจากนี้ยังมีโมเดลแก้ไขตามสูตร VoiceCraft สำหรับปรับแต่งประโยคหลังสร้างเสร็จแล้ว

ประสิทธิภาพจากการทดสอบ

Zyphra ประเมินโมเดลบนเกณฑ์ ZTTS2-Eval ซึ่งครอบคลุม 35 ภาษาในการอ่านออกเสียงชัดเจน และ 20 ภาษาในเสียงบันทึกทั่วไป

ZONOS3-Mini ในโหมด Speaker-Embedding ทำคะแนนได้ 66.2 นำหน้า Fish Audio S2 Pro (61.7) และ MOSS-TTS v1.5 (60.2) โดยในชุดข้อมูลที่สะอาด โมเดลทำคะแนน WER ได้ที่ 7.79 และมีความเหมือนของเสียง (Speaker Similarity) ถึง 83.4

อย่างไรก็ตาม มีข้อควรระวังเนื่องจากเกณฑ์มาตรฐานนี้ Zyphra เป็นผู้สร้างเอง โดยคะแนนในโหมดคลิปอ้างอิงทำได้เพียง 44.7 และคุณภาพเสียง (MSR-UTMOS) อยู่ที่ 3.07 ซึ่งยังตามหลัง Fish S2 Pro และ Qwen3-TTS 1.7B เล็กน้อย

ตารางเปรียบเทียบกับโมเดล TTS อื่นๆ

หมายเหตุ: ข้อมูลจากการทดสอบภายในของ Zyphra ไม่ได้ผ่านการตรวจสอบโดยหน่วยงานอิสระ ค่า Latency ใช้ GPU ต่างรุ่นกันไม่สามารถเทียบกันได้โดยตรง

แนวทางการใช้งานสำหรับนักพัฒนา

นักพัฒนาสามารถปรับใช้โมเดลได้ผ่าน 4 ช่องทางหลักบน GitHub:

• เบราว์เซอร์: ใช้งานผ่าน WebGPU playground รันบน GPU ของเครื่องผู้ใช้โดยตรง ไม่ต้องลงโปรแกรมเพิ่ม
• เซิร์ฟเวอร์ NVIDIA: ใช้ SGLang-Omni เพื่อเชื่อมต่อ API แบบเดียวกับ OpenAI
• Native: ใช้ MLX สำหรับ Apple Silicon หรือ C++/ggml สำหรับ CPU และแพลตฟอร์มอื่นๆ
• Cloud: ใช้งานผ่าน Zyphra Cloud ที่รันบน NVIDIA H200

ประเด็นสำคัญ

• ZONOS3-Mini ใช้โครงสร้าง MoE ทำให้มี Active Parameters เพียง 100 ล้านพารามิเตอร์
• ใช้ลิขสิทธิ์แบบ Apache 2.0 รองรับการรันผ่าน WebGPU, MLX, ggml และ SGLang
• ทำคะแนน Capability Index สูงสุดในกลุ่มโมเดลเปิด (66.2) ตามรายงานของ Zyphra
• ความเร็วสูงด้วยค่า TTFA 80 ms บน H100 และรันบนมือถือ Pixel 9 ได้ในเวลาต่ำกว่า 570 ms
• ผลการทดสอบทั้งหมดเป็นแบบรายงานด้วยตนเอง (Self-reported) โดยการใช้คลิปอ้างอิงยังมีคุณภาพต่ำกว่าโหมด Embedding