DeepL Voice อัปเกรดโมเดล Aure แปลสดแบบคงอารมณ์และน้ำเสียง

การแปลแบบเรียลไทม์ของ DeepL Voice กำลังจะมีความเป็นธรรมชาติมากขึ้นอย่างมากด้วยโมเดลใหม่ในชื่อ Aure ที่จะช่วยนำโทนเสียง อารมณ์ การเน้นย้ำ และจังหวะการพูดจากเสียงของผู้พูดต้นฉบับไปยังภาษาเป้าหมายได้อย่างแม่นยำ

ก่อนหน้านี้ DeepL Voice จะสร้างเสียงพูดที่แปลแล้วจากตัวอย่างเสียงคงที่ซึ่งบันทึกไว้เพียงช่วงเริ่มต้นการสนทนาเท่านั้น ส่งผลให้ระบบไม่สามารถตรวจจับอารมณ์ที่เปลี่ยนแปลงไปหรือการประชดประชันได้ แต่โมเดล Aure ทำงานแตกต่างออกไป โดยจะทำการวิเคราะห์ทั้งข้อความที่แปลและเสียงต้นฉบับอย่างต่อเนื่องตลอดการสนทนา

ในขั้นตอนการฝึกฝนระบบ DeepL ได้แยกเอกลักษณ์ของเสียง ทำนองการพูด และเนื้อหาออกจากกัน เพื่อให้แต่ละองค์ประกอบสามารถส่งต่อไปยังภาษาใหม่ได้อย่างเป็นอิสระ โดยใช้การเรียนรู้แบบเสริมกำลัง (Reinforcement learning) เพื่อป้องกันไม่ให้ผลลัพธ์มีการออกเสียงติดสำเนียง (accent) ซึ่ง Aure จะทำงานโดยอัตโนมัติใน DeepL Voice สำหรับ Online Meetings, In-Person Conversations และ DeepL API โดยในช่วงเปิดตัวจะรองรับภาษาอังกฤษ เยอรมัน สเปน ฝรั่งเศส อิตาลี ญี่ปุ่น โปรตุเกส และเกาหลี

DeepL เริ่ม เปิดตัวการคงเอกลักษณ์เสียงในเดือนกันยายน ที่ผ่านมา หลังจากที่ในเดือนพฤษภาคมบริษัทได้ตัดสินใจ ลดตำแหน่งงานประมาณ 250 ตำแหน่ง เพื่อปรับโครงสร้างทีมให้เล็กลงและขับเคลื่อนด้วย AI ภายใต้เป้าหมายการเป็นองค์กรแบบ "AI-native"

นอกจากนี้ DeepL ยังได้เข้าซื้อทีมงานจาก Mixhalo ผู้เชี่ยวชาญด้าน audio streaming เพื่อเสริมความแข็งแกร่งให้กับการแปลคำพูดแบบเรียลไทม์ ขณะเดียวกันบริษัท Block ก็กำลังมุ่งเป้าไปที่การจับความหมายที่นอกเหนือไปจากคำพูดเช่นกัน โดยล่าสุดได้เปิดตัว Dessa โมเดลเสียงที่ออกแบบมาเพื่อตรวจจับอารมณ์และการประชดประชันจากเสียงโดยตรง