Edge0 เปิดตัวโมเดล Audio8-TTS-Realistic โคลนเสียงสมจริง 23 ภาษา

Edge0 ได้เปิดตัว Audio8-TTS-Realistic โมเดล text-to-speech แบบ open-weight สำหรับการโคลนเสียงแบบ zero-shot โดยเป็นโมเดลขนาด 601 ล้านพารามิเตอร์ (0.6B) ที่สามารถโคลนเสียงได้จากคลิปอ้างอิงและข้อความถอดเสียงเพียงชุดเดียว

จุดเด่นของโมเดลนี้คือการรองรับภาษาที่เพิ่มขึ้นเป็น 23 ภาษา ซึ่งมากกว่ารุ่นก่อนหน้าถึง 12 ภาษา โดย Edge0 ได้ปล่อยน้ำหนักโมเดล (weights) และโค้ดภายใต้ลิขสิทธิ์ Apache 2.0 เพื่อให้นักพัฒนาสามารถนำไปใช้และ fine-tune ได้อย่างประหยัดทรัพยากร

รายละเอียดทางเทคนิค

โมเดลหลักมีพารามิเตอร์ 601M (ไม่รวม codec) รองรับบริบทของข้อความและเสียงรวมกันสูงสุด 2,048 ตำแหน่ง แนะนำให้รันบน CUDA GPU โดยผ่านการทดสอบบน NVIDIA H20 ในรูปแบบ BF16 นอกจากนี้ในรายงานยังระบุว่าใช้หน่วยความจำเพียง 1.1 ถึง 1.2 GiB บน Apple M2 CPU (INT4 ONNX) แต่ปัจจุบันยังไม่มีการปล่อยเวอร์ชัน Realistic ONNX สู่สาธารณะ

ในด้านประสิทธิภาพ Audio8-TTS-Realistic ทำผลงานได้เหนือกว่าโมเดลแบบ open ที่มีขนาดใหญ่กว่าในบางชุดทดสอบ โดยมีค่าเฉลี่ยความผิดพลาดบน CV3 (9 ภาษา) อยู่ที่ 4.86% ซึ่งดีกว่า Qwen3-TTS-1.7B ที่ทำไว้ 7.73% อย่างไรก็ตาม ยังคงตามหลังโมเดลระดับ 4B ของ MiniMax โดยภาษาไทยมีค่า WER อยู่ที่ 48.57% บนชุดทดสอบ CV3

Audio8-TTS-Realistic คืออะไร?

นี่คือโมเดลรุ่นที่สองในตระกูล Audio8 TTS ของ Edge0 ที่พัฒนาต่อยอดจากเวอร์ชัน Preview โดยใน repository ประกอบด้วย checkpoint, 44.1 kHz neural audio codec, tokenizer, processor และ custom code ซึ่งรุ่นนี้สามารถสร้างเสียงพูดได้ทันทีโดยไม่ต้องใช้เสียงอ้างอิง

สำหรับภาษาใหม่ที่เพิ่มเข้ามา ได้แก่ ไทย, อาหรับ, ฟินแลนด์, ฮินดี, อินโดนีเซีย, มลายู, นอร์เวย์, โปรตุเกส, รัสเซีย, สวีเดน, ตุรกี และเวียดนาม

สถาปัตยกรรมและการฝึกฝนเพื่อความสมจริง

โมเดลใช้การออกแบบ dual-autoregressive (DualAR) โดยมี slow branch ที่พัฒนาบน Qwen2.5 0.5B ทำหน้าที่ทำนาย text tokens พร้อม audio codebook เล่มแรก และมี fast branch ขนาด 4-layer ช่วยทำนาย codebooks อีก 9 เล่มที่เหลือแบบขนาน

Edge0 ให้ความสำคัญกับความสมจริงของจังหวะและการหยุดพัก โดยใช้กระบวนการฝึกฝน 3 ขั้นตอน เริ่มจาก Multilingual supervised fine-tuning (SFT) ตามด้วยการใช้ GRPO พร้อมรางวัลรวม (combined reward) ระหว่าง WER และ SIM และปิดท้ายด้วย GRPO ที่กำกับโดย realism critic

ตัว critic จะให้คะแนนผลลัพธ์โดยเปรียบเทียบกับการบันทึกเสียงของมนุษย์จริง โดยมี loss สำหรับการลบอัตลักษณ์ (identity-erasure loss) เพื่อป้องกันไม่ให้ critic ให้คะแนนเอนเอียงไปที่ลักษณะเฉพาะของระบบสร้างเสียง แม้ขั้นตอนสุดท้ายจะใช้เพียง prompt ภาษาจีนและอังกฤษ แต่ก็ช่วยปรับปรุงคุณภาพในอีก 13 ภาษาที่มีทรัพยากรน้อยให้ดีขึ้นอย่างเห็นได้ชัด

การประเมินผลและเปรียบเทียบ

จากผลการทดสอบที่ผู้พัฒนารายงาน Audio8 ทำคะแนนบน CV3 ได้ดีกว่า VoxCPM2 (5.35%) และ CosyVoice3-1.5B (6.89%) แต่ในภาพรวมระดับสูง Higgs TTS 3 และ Qwen3-TTS-1.7B ยังคงนำอยู่ในบางหมวดหมู่ โดย Edge0 ย้ำว่าตารางเปรียบเทียบนี้ใช้เพื่อการอ้างอิงเท่านั้นเนื่องจากวิธีการวัดผลที่แตกต่างกันในแต่ละค่าย

การนำไปใช้งาน (Deployment)

นักพัฒนาสามารถใช้งานได้ผ่าน PyTorch 2.5+ และ Transformers 4.57+ โดยตั้งค่า trust_remote_code=True ซึ่งใน GitHub repo ได้เตรียม CLI และสคริปต์สำหรับ supervised fine-tuning ไว้ให้แล้ว สำหรับการใช้งานบน GPU มี SGLang Omni adapter ที่รองรับ paged attention และ API ที่เข้ากันได้กับ OpenAI หรือทดลองใช้งานฟรีได้ที่ Hugging Face ZeroGPU