Fish Audio เปิดตัว Drama 3 โมเดล TTS สถาปัตยกรรม MoE 35B

ในสัปดาห์นี้ Fish Audio ได้เปิดตัว Fish Audio Drama 3 โมเดล Text-to-Speech ที่ล้ำสมัยด้วยความสามารถในการรับคำสั่งแสดงอารมณ์ผ่านภาษาทั่วไป โดยเป็นโมเดลสถาปัตยกรรม mixture-of-experts (MoE) ขนาด 35B ที่มีพารามิเตอร์ทำงานจริงประมาณ 3B ต่อโทเค็น

ปัจจุบัน Fish Audio ได้ปล่อย weights อยู่บน Hugging Face และเปิดให้บริการผ่าน Fish Audio API แล้ว ถือเป็นตัวเลือกที่น่าสนใจสำหรับนักพัฒนาที่ต้องการติดตั้งใช้งานเอง (self-hostable) เพื่อผลิตเนื้อหาประเภทบทสนทนาตามสคริปต์ หนังสือเสียง และการพากย์เสียง

TL;DR

• ขนาด: พารามิเตอร์รวม 35B ทำงานจริงประมาณ 3B ต่อโทเค็น (8 จาก 256 experts บวกกับ 1 shared) ส่วน context length ไม่ได้เปิดเผย
• การรันโมเดล: ต้องใช้ NVIDIA GPU อย่างน้อย 1 ตัวพร้อมหน่วยความจำ 48 GB ในรูปแบบ FP8 โดยไม่รองรับ CPU, Apple MPS หรือ AMD ROCm ทั้งนี้เบนช์มาร์กอย่างเป็นทางการใช้ H200 จำนวน 1 ตัว
• ประสิทธิภาพ: เป็นโมเดลที่ทำคะแนนสูงสุดของ Fish Audio บน Artificial Analysis แต่ในด้านคุณภาพ Elo ยังตามหลังผู้ให้บริการแบบ closed API หลายราย
• จุดแข็ง: ทำคะแนนได้ 95.9% ในหมวดชื่อแบรนด์ สถานที่ และศัพท์เทคนิค จากการทดสอบ Pronunciation Robustness ของ Artificial Analysis
• จุดอ่อน: ได้คะแนน 86.3% ในหมวดลำดับอักขระที่แน่นอน เช่น โค้ด เส้นทางไฟล์ และอีเมล ซึ่งเป็นจุดที่ออกเสียงได้อ่อนแอที่สุด
• สรุปภาพรวม: มีข้อดีที่สั่งการพูดได้โดยตรง รองรับหลายผู้พูด (multi-speaker) และเปิด open weights แต่มีข้อจำกัดเรื่องสเปก GPU ขั้นต่ำ 48 GB และไลเซนส์ที่มีเพดานรายได้

Fish Audio Drama 3 คืออะไร?

Drama 3 มีความสามารถในการเปลี่ยนสคริปต์พร้อมคำสั่งในวงเล็บให้กลายเป็นเสียงที่มีอารมณ์สมจริง โดยนักเขียนสามารถใส่คำใบ้ เช่น [barely holding it together] ไว้หน้าประโยค หรือใช้แท็กคู่เช่น <whisper> เพื่อเน้นเฉพาะคำที่ต้องการ ตามที่ระบุไว้ใน เอกสารประกอบของ Drama 3 ซึ่งคำสั่งเหล่านี้สามารถเขียนเป็นภาษาใดก็ได้แยกจากประโยคที่พูด

โมเดลนี้รองรับ 83 ภาษา และมีแท็กผู้พูด <|speaker:0|> ถึง <|speaker:15|> ที่ช่วยให้ใส่ตัวละครได้สูงสุด 16 ตัวในการส่งคำขอ (request) เพียงครั้งเดียว โดย API จะรับ 1 voice ID ต่อผู้พูด ทำให้สามารถสร้างฉากที่มีบทสนทนาโต้ตอบกันได้อย่างครบถ้วน

สถาปัตยกรรมของ Drama 3 ทำงานอย่างไร?

ข้อมูลจาก โพสต์เปิดตัว ระบุว่าโครงสร้างหลัก (backbone) พัฒนาต่อยอดจากโมเดลภาษา Qwen3.5-35B-A3B มีทั้งหมด 40 เลเยอร์ โดยจัดกลุ่มเป็นเลเยอร์ Gated DeltaNet 3 เลเยอร์ ต่อเลเยอร์ gated full-attention 1 เลเยอร์ ซึ่งมีเพียง 1 ใน 4 เลเยอร์เท่านั้นที่เก็บ KV cache ส่วนเลเยอร์ DeltaNet จะเก็บประวัติไว้ในสถานะที่มีขนาดคงที่

ในส่วนของตัวถอดรหัส (decoder) ได้เปลี่ยนมาใช้ Codebook-MTP แบบใหม่แทนที่ตัวถอดรหัส Fast AR เดิมที่ใช้ใน S2 โดยมี 4 เลเยอร์แบบ shared ที่ส่งต่อไปยัง 9 เลเยอร์ (1 เลเยอร์ต่อ 1 acoustic codebook) ซึ่งมีเพียง codebook 0 และ 1 เท่านั้นที่ส่งข้อมูลกลับไปยัง backbone ต่างจากรุ่น S2 ที่ส่งกลับทั้งหมด

สำหรับ audio tokenizer ยังคงใช้แบบเดิมจาก S2 ที่สร้างบน Descript Audio Codec ให้เอาต์พุตเสียงคุณภาพ 44.1 kHz และทำงานด้วยความเร็วประมาณ 21.5 เฟรมต่อวินาที การฝึกฝนผ่านขั้นตอน pre-training 3 ขั้นตอน ตามด้วย instruction tuning และ reinforcement learning (RL) ที่ใช้ GRPO โดยไม่มี KL penalty และใช้ reward model ที่เรียนรู้จากความชอบของมนุษย์

ประสิทธิภาพบนเบนช์มาร์ก

Fish Audio รายงานว่า Drama 3 ทำคะแนนรวมได้ 93.2% ในด้าน Artificial Analysis Pronunciation Robustness ขึ้นแท่นอันดับ 1 แทนที่รุ่นเดิมอย่าง S2.1 Pro ที่ทำไว้ 88.1% โดยมีการทดสอบการออกเสียงภาษาอังกฤษที่ยากใน 4 หมวดหมู่ดังนี้:

• แบรนด์ สถานที่ และศัพท์เทคนิค: 95.9%
• การอ่านตามบริบท (Context-dependent): 95.3%
• ตัวย่อ เช่น ตัวเลข วันที่ และหน่วยวัด: 93.6%
• ลำดับอักขระที่แน่นอน เช่น โค้ด และอีเมล: 86.3%

อย่างไรก็ตาม เบนช์มาร์กนี้เน้นความแม่นยำของการออกเสียงไม่ใช่การสื่ออารมณ์ ซึ่งใน ตารางอันดับคุณภาพของ Artificial Analysis ตัว 'Drama 3 Preview' มีค่า Elo อยู่ที่ 1242 สูงกว่า S2.1 Pro แต่ยังตามหลัง Eleven v4 Turbo ที่ทำได้ 1328

ความต้องการด้านฮาร์ดแวร์

ตาม คู่มือการติดตั้ง Fish Speech ผู้ใช้งานต้องมี NVIDIA GPU หน่วยความจำอย่างน้อย 48 GB ในรูปแบบ FP8 โดยตัว MoE experts จะรันบน FP8 ขณะที่ weights ส่วนอื่นจะเป็น bf16 ทั้งนี้โมเดลไม่รองรับการทำงานบน CPU, Apple MPS หรือ AMD ROCm

ใน model card ระบุผลการทดสอบบน H200 ว่ามีค่ากลางเวลาจนถึงเสียงแรก (TTFA) อยู่ที่ 88.9 ms และมี throughput สูงถึง 927.6 เฟรมต่อวินาทีเมื่อรัน 16 สตรีมพร้อมกันผ่าน SGLang-Omni ซึ่งปรับแต่งมาเพื่อ Hopper GPU โดยเฉพาะ

การเข้าถึงและราคา

สำหรับการใช้งานผ่าน API ให้ตั้งค่า header model เป็น drama-3 ใน POST /v1/tts หากไม่ได้ระบุระบบจะใช้ s2.1-pro เป็นค่าเริ่มต้น ราคาปกติอยู่ที่ 50 ดอลลาร์ต่อ 1 ล้านตัวอักษร แต่มีราคาโปรโมชันช่วงเปิดตัวที่ 10 ดอลลาร์ไปจนถึงวันที่ 12 พฤศจิกายน 2026

ด้านไลเซนส์ Fish Audio Community License v1.0 อนุญาตให้ใช้ฟรีเพื่อการวิจัยและส่วนตัว ส่วนการใช้งานเชิงพาณิชย์จะฟรีเฉพาะรายที่มีรายได้ต่ำกว่า 500,000 ดอลลาร์สหรัฐต่อปี โดยผลิตภัณฑ์ต้องระบุข้อความ ‘Built with Fish Audio’ และห้ามนำไปใช้โคลนเสียงบุคคลจริงโดยไม่ได้รับความยินยอม

เปรียบเทียบ Drama 3 กับคู่แข่ง

ประเด็นสำคัญ

• Drama 3 เป็นโมเดล TTS แบบ MoE ขนาด 35B ที่มีความแม่นยำสูงและสั่งการผ่านภาษาทั่วไปได้
• รองรับตัวละครสูงสุด 16 ตัวในหนึ่งคำขอ เหมาะสำหรับงานด้านโปรดักชันเสียง
• ความแม่นยำการออกเสียงอยู่ที่ 93.2% แต่ยังมีจุดอ่อนในการออกเสียงลำดับอักขระเฉพาะ
• ต้องใช้ GPU สเปกสูง (48 GB+) สำหรับการติดตั้งใช้งานเอง
• มีเงื่อนไขการใช้งานเชิงพาณิชย์ฟรี หากรายได้ไม่เกิน 500,000 ดอลลาร์ต่อปี