Bland เปิดตัว Tofu-1 โมเดล AI โทรศัพท์แบบสื่อสารสองทางพร้อมกัน

· By: AttapolK

Bland เปิดตัว Tofu-1 โมเดล AI โทรศัพท์แบบสื่อสารสองทางพร้อมกัน

Bland บริษัท voice-AI จากซานฟรานซิสโก ได้เปิดตัว Tofu-1 โมเดล speech-to-speech แบบ full-duplex ในรูปแบบ research preview โดยมุ่งเน้นการใช้งานโทรศัพท์ในสถานการณ์ที่ท้าทาย เช่น การโทรจากรถที่กำลังเคลื่อนที่ ในโรงพยาบาล หรือพื้นที่ที่มีสัญญาณอ่อน

จุดเด่นของ Tofu-1 คือความสามารถในการฟังไปพร้อมกับการพูด และประมวลผลหาเหตุผลในระหว่างการสนทนาได้ทันที สำหรับทีมตัวแทนทางโทรศัพท์ (phone-agent) โมเดลนี้จะจัดการทั้งเสียงรับเข้าและส่งออกได้โดยตรง โดยไม่ต้องผ่านกระบวนการแปลงเป็นข้อความ (transcript) คั่นกลาง ซึ่งผู้สนใจสามารถตรวจสอบตัวเลือกการติดตั้งและสเปกผ่าน GPULeaderboard.com chrome extension ได้

Tofu-1 คืออะไร?

Tofu-1 เป็นโมเดล speech-to-speech แบบ full-duplex จาก Bland ที่สามารถรับฟัง ประมวลผล และตอบกลับเป็นเสียงได้พร้อมกันในระหว่างการโทร ถือเป็น การเปิดตัวครั้งแรกในตระกูลที่วางแผนไว้ ของโมเดลในกลุ่ม Bland speech-to-speech

Tofu-1 แตกต่างจากตัวแทนเสียงแบบ cascade อย่างไร? โดยปกติแล้วตัวแทนเสียงทั่วไปจะเป็นแบบ cascade ซึ่งต้องเปลี่ยนคำพูดเป็นข้อความ ส่งไปประมวลผลในโมเดลภาษา แล้วจึงแปลงกลับเป็นคำพูดอีกครั้ง แต่ Tofu-1 ฟังเสียงโดยตรง ทำให้สามารถรับรู้ถึงโทนเสียง ความลังเล และเสียงพื้นหลังได้อย่างแม่นยำ แม้ว่าปัจจุบัน Bland จะยังไม่ได้เปิดเผยสถาปัตยกรรมภายในก็ตาม

ความเข้าใจด้านเสียง

Bland ได้ระบุทักษะด้านเสียงที่สำคัญ 3 ประการไว้ดังนี้:

  • Speaker tracking: สามารถแยกแยะผู้พูดและระบุคู่สนทนาของแต่ละคนได้
  • Noise separation: แยกเสียงพูดออกจากเสียงรบกวน เช่น เสียงเด็กร้อง ทีวี การจราจร เสียงอินเตอร์คอม หรือแม้แต่เสียงกดปุ่มโทรศัพท์
  • Paralinguistics: รับรู้ถึงอารมณ์ ความลังเล ความหงุดหงิด และความเร่งรีบผ่านน้ำเสียง

Full duplex และการคิดขณะพูด

ผู้โทรสามารถขัดจังหวะหรือแก้ไขข้อมูลให้ Tofu-1 ได้ทันทีในขณะที่โมเดลกำลังพูดหรือทำงานตามคำขอ โดยโมเดลจะรักษาการสนทนาให้ดำเนินต่อไปอย่างลื่นไหล และจะรายงานผลลัพธ์เมื่อปฏิบัติงานเสร็จสิ้นเท่านั้น เพื่อป้องกันการกล่าวอ้างว่างานเสร็จก่อนเวลาอันควร

การสร้างฉากเสียง (Scene generation) เนื่องจาก Tofu-1 จำลองเสียงของการโทรได้ทั้งหมด จึงมีความสามารถในการสร้างบรรยากาศเสียงจำลองขึ้นมาได้ด้วย ไม่ว่าจะเป็นเสียงผู้พูดคนที่สอง สภาพแวดล้อมรอบตัว หรือแม้แต่เสียงรบกวนในสายเพื่อให้ดูสมจริง

'TV Test' ของ Bland คืออะไร?

TV Test คือบททดสอบว่าโมเดลสามารถโฟกัสที่ผู้โทรโดยเพิกเฉยต่อเสียงพูดจากฉากหลัง (เช่น เสียงจากโทรทัศน์ที่มักจะดังกว่าเสียงคน) ได้หรือไม่ ทั้งนี้ Bland ระบุว่าการสาธิต TV Test ที่ปรากฏเป็นการแสดงตัวอย่างเพื่อพิสูจน์แนวคิด ไม่ใช่ผลลัพธ์ที่บันทึกสดจากตัวโมเดลจริง

Tofu-1 เปรียบเทียบกับโมเดล full-duplex อื่นๆ อย่างไร?

คุณสมบัติBland Tofu-1OpenAI GPT-Live-1NVIDIA NemotronLabs VoiceChat 11BBlock Dessa
ประเภทFull-duplex speech-to-speechFull-duplex voice modelFull-duplex speech-to-speechFull-duplex speech-to-speech
พารามิเตอร์ไม่เปิดเผยไม่เปิดเผย11Bไม่เปิดเผย
น้ำหนักโมเดล (Weights)ClosedClosedOpen (OpenMDW 1.1)ไม่ได้ปล่อย
ข้อมูลการฝึกสอนการสนทนาจริงหลายล้านชั่วโมงไม่เปิดเผยเสียงประมาณ 550,000 ชั่วโมงรวมกับข้อความเสียงมนุษย์เท่านั้น ไม่มีข้อความ
ฮาร์ดแวร์Bland-hostedOpenAI-hostedA100, H100, H200, B100, B200, RTX-6000MacBook Pro M4 Max หรือดีกว่า
ความหน่วงในการสลับลำดับการพูดไม่เปิดเผย0.798 วินาที (FDB v1)448 มิลลิวินาที (FDB)ไม่เปิดเผย
การใช้เครื่องมือ (Tool use)พูดต่อไปเรื่อยๆ ในขณะทำงานมอบหมายให้โมเดล backendการเรียกใช้เครื่องมือแบบสด, การเลือกเครื่องมือแม่นยำ 82.5% (FDB v3)ไม่เปิดเผย
การเข้าถึงEnterprise research previewAPI และ ChatGPTHugging Face checkpoint, NVIDIA containerResearch preview สำหรับนักวิจัยด้านความปลอดภัย

หมายเหตุ: ตัวเลขคู่แข่งอ้างอิงจากข้อมูลของผู้ให้บริการ ผลลัพธ์ FDB ใช้เกณฑ์มาตรฐานต่างเวอร์ชันจึงไม่สามารถเปรียบเทียบกันโดยตรงได้

ทีมต่างๆ จะเข้าถึง Tofu-1 ได้อย่างไร?

ปัจจุบันเปิดให้เข้าถึงแบบ Research preview เฉพาะองค์กรจำนวนจำกัด โดยเน้นกลุ่มเป้าหมายในภาคการธนาคาร การดูแลสุขภาพ การประกันภัย และภาครัฐ ซึ่งแบบฟอร์มการสมัครจะมีการสอบถามปริมาณการโทรต่อเดือน ตั้งแต่ระดับต่ำกว่า 1,000 ครั้ง ไปจนถึงมากกว่า 50,000 ครั้ง

สรุปประเด็นสำคัญ

  • Tofu-1 เป็นโมเดล full-duplex ตัวแรกของ Bland ที่ออกแบบมาเพื่อรับมือกับการโทรที่มีเสียงรบกวนโดยเฉพาะ
  • โมเดลประมวลผลจากเสียงโดยตรง ทำให้รับรู้ได้ทั้งอารมณ์และสภาพแวดล้อมของผู้โทร
  • มีรายงานระบุว่ามากกว่า 92% ของผู้ถูกคัดกรองไม่สามารถแยกแยะได้ว่าเป็นโมเดล AI
  • ขณะนี้ยังไม่มีการเปิดเผยข้อมูลเชิงเทคนิค เช่น ขนาดโมเดล ความหน่วง หรือราคา
  • การเข้าถึงยังจำกัดอยู่ในช่วง enterprise preview และมีแผนจะพร้อมใช้งานกว้างขึ้นในเดือนมกราคม
Source: MarkTechPost
ดูแลงานแปลและเรียบเรียงโดย AttapolK

ความคิดเห็น (0)

เข้าสู่ระบบเพื่อร่วมแสดงความเห็น

สมัครสมาชิก

มาเป็นคนแรกที่แสดงความเห็นกันเลยโบร