NVIDIA เปิดตัว NemotronLabs VoiceChat 11B โมเดล Speech-to-Speech โอเพนซอร์ส ตอบโต้ไวเพียง 450 ms

NVIDIA เปิดตัว NemotronLabs VoiceChat 11B โมเดล speech-to-speech แบบ end-to-end ขนาด 11 พันล้านพารามิเตอร์ในรูปแบบโอเพนซอร์ส เพื่อรองรับการสนทนาแบบ full-duplex เรียลไทม์

โมเดลนี้เปลี่ยนจากการเชื่อมต่อ ASR, LLM และ TTS แบบเดิม มาเป็นการทำความเข้าใจและสร้างเสียงพูดแบบสตรีมมิ่งภายในเครือข่ายเดียว ซึ่งช่วยลดความยุ่งยากในการจัดการหลายโมเดลและการส่งต่อข้อมูลผ่าน API ทำให้ได้ความหน่วงเวลา end-to-end ต่ำเพียง 448 ms บน Full-Duplex-Bench 1.0

จุดเด่นสำคัญคือความสามารถในการฟังขณะพูด ทำให้ผู้ใช้พูดแทรกบทสนทนาได้ทันที โดยมีอัตราการเข้าแทนที่ (take-over rate) อยู่ที่ 1.00 ที่ 480 ms นอกจากนี้ยังเป็นโมเดล full-duplex โอเพนซอร์สตัวแรกที่รองรับการเรียกใช้ tool (tool calling) ระหว่างสนทนา โดยใช้ช่องทางเอาต์พุตแยกสำหรับสคริปต์ <TOOLCALL> พร้อมระบบ "ข้อความรอสาย" เพื่อไม่ให้เกิดช่วงเงียบระหว่างรอ API ทำงาน

มันสามารถนำไปใช้งานได้จริงหรือไม่?

ปัจจุบันโมเดลนี้เหมาะสำหรับโครงการนำร่องและการวิจัย แต่ยังไม่พร้อมสำหรับการใช้งานจริง (production) แม้จะเปิดค่าน้ำหนัก (weights) และคอนเทนเนอร์เป็นสาธารณะด้วยสัญญาอนุญาตที่ผ่อนปรน แต่ NVIDIA ระบุว่า checkpoint นี้มีข้อจำกัดบางประการ เช่น เพดานบริบทเสียงยาวเพียง 2 นาที และอาจเกิดการเสื่อมสภาพของเสียงหลังจากโต้ตอบไปหลายครั้ง

สำหรับองค์กรที่ต้องการใช้งาน จำเป็นต้องมี GPU ที่มี VRAM อย่างน้อย 80 GB เช่น A100, H100 หรือ RTX 6000 Pro บนระบบ Linux x86_64 ซึ่งกลุ่มเป้าหมายครอบคลุมตั้งแต่สตาร์ทอัพ AI ไปจนถึงแล็บวิจัยในมหาวิทยาลัย โดยเหมาะสำหรับนำไปพัฒนาศูนย์ติดต่อ (contact centers), ผู้ช่วยในรถยนต์, ระบบสั่งอาหารไดรฟ์ทรู และ NPC ในเกมที่โต้ตอบได้เป็นธรรมชาติ

สถาปัตยกรรม (Architecture)

โมเดลนี้ใช้สถาปัตยกรรมไฮบริด Mamba/Transformer ที่ประกอบด้วยส่วนประกอบหลักจาก NVIDIA 3 ส่วน และเส้นทางเอาต์พุตใหม่:

• Fast Conformer speech encoder จาก Nemotron-Speech-Streaming-En-0.6b สำหรับเข้ารหัสสตรีมเสียง 16 kHz
• NVIDIA Nemotron Nano v2 โครงข่ายหลัก LLM NVIDIA Nemotron Nano 9B-v2 ที่รับ audio tokens และทำนาย text tokens
• NVIDIA TTS decoder and codec สำหรับทำนายรหัสเสียงและสร้างเสียงพูดเอเจนต์ที่ความถี่ 22.05 kHz
• ช่องทางเอาต์พุตแยกต่างหาก ออกแบบมาเพื่อจัดการสคริปต์เรียกใช้ tool โดยเฉพาะ

ระบบผ่านการฝึกฝนด้วยเสียงกว่า 550,000 ชั่วโมงจากชุดข้อมูลจริงและสังเคราะห์ โดยพัฒนาต่อยอดจาก SALM-Duplex และ Audio Flamingo 3

การเรียกใช้ Tool โดยไม่มีช่วงเวลาเงียบ

การเรียกใช้ Tool จะทำงานผ่านช่องทางเสริมในรูปแบบบล็อก <TOOLCALL> โดยโมเดลจะส่งคืนผลลัพธ์ผ่านบล็อก <TOOL_RESPONSE> ไฮไลท์สำคัญคือระบบ ข้อความรอสาย (on-hold message) ที่ผู้ควบคุมสามารถกำหนดให้เอเจนต์พูดขึ้นมาทันทีที่มีการเรียกใช้เครื่องมือ เพื่อรักษาความต่อเนื่องของบทสนทนาไม่ให้เงียบหายไป

อย่างไรก็ตาม มีข้อจำกัดที่ควรระวังคือ NVIDIA แนะนำให้ใช้เครื่องมือสูงสุด 5 อย่างต่อเซสชัน และโมเดลยังไม่สามารถเรียกใช้หลายเครื่องมือพร้อมกันได้อย่างแม่นยำ รวมถึงผู้ใช้จะไม่สามารถขัดจังหวะเอเจนต์ได้ในขณะที่กำลังรัน tool

ประสิทธิภาพ (Performance)

จากผลทดสอบบน Full-Duplex-Bench 1.0 พบว่ามีการโต้ตอบที่ราบรื่นด้วยค่า TOR 0.82 ที่ 448 ms และสำหรับการเรียกใช้เครื่องมือผ่านเสียง (spoken tool calling) บน AU Harness ทำค่าเฉลี่ยได้ที่ 56.1% โดยมีความแม่นยำในการเลือก tool สูงถึง 82.5% บนเกณฑ์วัดเวอร์ชันล่าสุด

ปัจจุบัน NVIDIA รายงานว่าโมเดลนี้ครองอันดับ #2 ในกลุ่มโมเดล full-duplex โอเพนซอร์ส ทั้งบน VoiceBench และ Full-Duplex-Bench 1.0 ซึ่งถือเป็นก้าวสำคัญของเทคโนโลยีเสียง AI แบบเปิด

ประเด็นสำคัญ

• โมเดล 11B ตัวเดียวทำงานแทนระบบ ASR → LLM → TTS แบบเดิม ลดความหน่วงเหลือเพียง 448 ms
• เป็นโมเดลโอเพนซอร์สตัวแรกที่รองรับการเรียกใช้ tool แบบขนานไปกับบทสนทนาโดยไม่เกิดช่วงเงียบ
• ใช้สัญญาอนุญาต OpenMDW-1.1 ที่ผ่อนปรน แต่เน้นย้ำว่า checkpoint ปัจจุบันมีไว้เพื่อการวิจัยเท่านั้น
• ต้องการทรัพยากรเครื่องสูง โดยเฉพาะ GPU VRAM 80 GB และยังไม่มีบริการผ่าน API แบบโฮสต์

ผู้ที่สนใจสามารถตรวจสอบข้อมูลเพิ่มเติมได้ที่ model card บน Hugging Face, และ GitHub (NeMo Speech). รวมถึง คอนเทนเนอร์ NGC