Gradium เปิดซอร์ส Phonon โมเดล TTS ขนาดจิ๋ว รันบนอุปกรณ์ได้ทันที

Gradium เปิดซอร์ส Phonon ตระกูลโมเดล text-to-speech (TTS) ขนาดเล็กที่ออกแบบมาเพื่อทำงานบนอุปกรณ์โดยเฉพาะ (on-device) ประกอบด้วยรุ่น 31M และ 40M โดยรุ่น English Phonon 31m เปิดให้ใช้งานภายใต้สัญญาอนุญาต Apache 2.0 ในรูปแบบไฟล์ขนาดเพียง 64.5 MB ช่วยให้นักพัฒนาสร้างเสียงพูดที่เป็นธรรมชาติได้โดยไม่ต้องเชื่อมต่อ Cloud ไม่ต้องใช้ GPU และไม่มีค่าใช้จ่ายตามจำนวนตัวอักษร

Phonon เป็นโมเดลประเภท open-weight จาก Gradium บริษัทด้าน voice AI ในปารีสที่แยกตัวออกมาจาก Kyutai โดยโมเดลนี้สามารถประมวลผลเสียงพูดได้ในเครื่อง (locally) ครอบคลุมตั้งแต่อุปกรณ์พกพาอย่างโทรศัพท์ แล็ปท็อป บอร์ดควบคุม ไปจนถึงการทำงานบนเบราว์เซอร์

สำหรับรายละเอียดของโมเดลแต่ละรุ่นประกอบด้วย:

• Phonon 31m: รองรับเฉพาะภาษาอังกฤษ มีเสียงในตัว 37 เสียง ใช้สัญญาอนุญาต Apache 2.0
• Phonon 40m: แยก 1 โมเดลต่อ 1 ภาษา (อังกฤษ, ฝรั่งเศส, เยอรมัน, สเปน, โปรตุเกส) ใช้สัญญาอนุญาต CC BY-NC 4.0
• Phonon 40m multilingual: รวมทั้ง 5 ภาษาไว้ในโมเดลเดียว พร้อม 102 เสียง ใช้สัญญาอนุญาต CC BY-NC 4.0

Phonon ทำงานอย่างไร?

Phonon ใช้โครงสร้างหลักแบบ causal transformer โดยส่วน prefix จะรวม text และ speaker embeddings เข้าด้วยกัน และใช้ SentencePiece tokenizer ที่มีคำศัพท์ 4,000 token เพื่ออ่านข้อความดิบโดยตรงโดยไม่ต้องแปลงเป็นหน่วยเสียง (phoneme) ก่อน

โครงสร้างหลักจะสร้างชุด latent vector ทุกๆ เฟรมขนาด 80 ms จากนั้น flow-matching head จะเปลี่ยน vector พร้อมสัญญาณรบกวน (noise) ให้เป็น audio embedding ในขั้นตอนเดียว ก่อนที่ตัวถอดรหัส Mimi ของ Kyutai รุ่นย่อยขนาดเล็กจะส่งเอาต์พุตเป็นเสียง PCM 24 kHz โดยมีส่วน end-of-speech head แยกต่างหากเพื่อตัดสินใจจุดสิ้นสุดของเสียง

ในด้านสถาปัตยกรรม Phonon 31m ใช้ transformer 6 เลเยอร์ ความกว้าง 512 พร้อม 8 attention heads ส่วนรุ่น 40m เพิ่มเป็น 9 เลเยอร์ ทั้งคู่ผ่านกระบวนการถ่ายทอดความรู้ (distilled) มาจากโมเดล Phonon teacher ขนาดใหญ่ และฝึกฝนบนคลัสเตอร์ NVIDIA H100 ด้วย NCCL และ CUDA Graphs

จากการทดสอบการฟังแบบสุ่มคู่ (blind pairwise listening tests) โดยผู้ประเมินกว่า 1,189 คน พบว่าในด้านภาษาอังกฤษสำเนียงสหรัฐฯ Phonon 40m ทำคะแนน Elo ได้สูงถึง 2117 และ Phonon 31m ได้ 2098 ซึ่งสูงกว่าโมเดลคู่แข่งอย่าง Kokoro (2043), NeuTTS (2034) และ Magpie (1939)

นอกจากนี้ยังผ่านการทดสอบความแม่นยำบนชุดประโยคยาก (public hard-sentence set) 500 ประโยคที่มีข้อมูลซับซ้อนอย่างหมายเลขโทรศัพท์และอีเมล โดย Phonon 31m มีอัตราข้อผิดพลาด (WER) เพียง 1.70% เทียบกับ Kokoro ที่ 3.50% ซึ่งเป็นผลมาจากระบบปรับข้อความให้เป็นมาตรฐาน (text normalization) ในตัวที่มีประสิทธิภาพสูง

ประสิทธิภาพบน CPU

Phonon โดดเด่นด้านความเร็วในการประมวลผล โดยบน CPU MacBook Air M5 (4 เธรด) รุ่น 31m สามารถสร้างเสียงแรกได้ในเวลาเพียง 6.9 ms และทำงานเร็วกว่าเวลาจริง (real time) ถึง 29.9 เท่า หากใช้งานร่วมกับ Arm KleidiAI และ Apple Accelerate จะเพิ่มความเร็วได้ถึง 46.7 เท่า

สำหรับการใช้งานบนอุปกรณ์สเปกต่ำอย่าง Raspberry Pi 5 โมเดล Phonon 31m เริ่มทำงานได้ใน 38 ms และรันเร็วกว่าเวลาจริง 3.7 เท่า ในขณะที่สมาร์ทโฟนชิป Snapdragon 8 Elite Gen 5 สามารถเริ่มทำงานได้ใน 7.5 ms ที่ความเร็ว 24 เท่าของเวลาจริง

การเปรียบเทียบคุณสมบัติ

นักพัฒนาสามารถติดตั้ง Phonon ผ่าน runtime ที่รองรับทั้ง Rust, Python (pip install ptts), Swift, C, C++ และเบราว์เซอร์ผ่าน phonon-tts นอกจากนี้ยังรองรับการโหลดเข้า Transformers, MLX-Audio, Ollama และ LM Studio รวมถึงการทำ voice cloning ผ่าน Gradium Studio เพื่อนำไปใช้งานในเครื่องได้ทันที