Bland เปิดตัว Tofu-1 โมเดล AI โทรศัพท์แบบสื่อสารสองทางพร้อมกัน

Bland บริษัท voice-AI จากซานฟรานซิสโก ได้เปิดตัว Tofu-1 โมเดล speech-to-speech แบบ full-duplex ในรูปแบบ research preview โดยมุ่งเน้นการใช้งานโทรศัพท์ในสถานการณ์ที่ท้าทาย เช่น การโทรจากรถที่กำลังเคลื่อนที่ ในโรงพยาบาล หรือพื้นที่ที่มีสัญญาณอ่อน
จุดเด่นของ Tofu-1 คือความสามารถในการฟังไปพร้อมกับการพูด และประมวลผลหาเหตุผลในระหว่างการสนทนาได้ทันที สำหรับทีมตัวแทนทางโทรศัพท์ (phone-agent) โมเดลนี้จะจัดการทั้งเสียงรับเข้าและส่งออกได้โดยตรง โดยไม่ต้องผ่านกระบวนการแปลงเป็นข้อความ (transcript) คั่นกลาง ซึ่งผู้สนใจสามารถตรวจสอบตัวเลือกการติดตั้งและสเปกผ่าน GPULeaderboard.com chrome extension ได้
Tofu-1 คืออะไร?
Tofu-1 เป็นโมเดล speech-to-speech แบบ full-duplex จาก Bland ที่สามารถรับฟัง ประมวลผล และตอบกลับเป็นเสียงได้พร้อมกันในระหว่างการโทร ถือเป็น การเปิดตัวครั้งแรกในตระกูลที่วางแผนไว้ ของโมเดลในกลุ่ม Bland speech-to-speech
Tofu-1 แตกต่างจากตัวแทนเสียงแบบ cascade อย่างไร? โดยปกติแล้วตัวแทนเสียงทั่วไปจะเป็นแบบ cascade ซึ่งต้องเปลี่ยนคำพูดเป็นข้อความ ส่งไปประมวลผลในโมเดลภาษา แล้วจึงแปลงกลับเป็นคำพูดอีกครั้ง แต่ Tofu-1 ฟังเสียงโดยตรง ทำให้สามารถรับรู้ถึงโทนเสียง ความลังเล และเสียงพื้นหลังได้อย่างแม่นยำ แม้ว่าปัจจุบัน Bland จะยังไม่ได้เปิดเผยสถาปัตยกรรมภายในก็ตาม
ความเข้าใจด้านเสียง
Bland ได้ระบุทักษะด้านเสียงที่สำคัญ 3 ประการไว้ดังนี้:
- Speaker tracking: สามารถแยกแยะผู้พูดและระบุคู่สนทนาของแต่ละคนได้
- Noise separation: แยกเสียงพูดออกจากเสียงรบกวน เช่น เสียงเด็กร้อง ทีวี การจราจร เสียงอินเตอร์คอม หรือแม้แต่เสียงกดปุ่มโทรศัพท์
- Paralinguistics: รับรู้ถึงอารมณ์ ความลังเล ความหงุดหงิด และความเร่งรีบผ่านน้ำเสียง
Full duplex และการคิดขณะพูด
ผู้โทรสามารถขัดจังหวะหรือแก้ไขข้อมูลให้ Tofu-1 ได้ทันทีในขณะที่โมเดลกำลังพูดหรือทำงานตามคำขอ โดยโมเดลจะรักษาการสนทนาให้ดำเนินต่อไปอย่างลื่นไหล และจะรายงานผลลัพธ์เมื่อปฏิบัติงานเสร็จสิ้นเท่านั้น เพื่อป้องกันการกล่าวอ้างว่างานเสร็จก่อนเวลาอันควร
การสร้างฉากเสียง (Scene generation) เนื่องจาก Tofu-1 จำลองเสียงของการโทรได้ทั้งหมด จึงมีความสามารถในการสร้างบรรยากาศเสียงจำลองขึ้นมาได้ด้วย ไม่ว่าจะเป็นเสียงผู้พูดคนที่สอง สภาพแวดล้อมรอบตัว หรือแม้แต่เสียงรบกวนในสายเพื่อให้ดูสมจริง
'TV Test' ของ Bland คืออะไร?
TV Test คือบททดสอบว่าโมเดลสามารถโฟกัสที่ผู้โทรโดยเพิกเฉยต่อเสียงพูดจากฉากหลัง (เช่น เสียงจากโทรทัศน์ที่มักจะดังกว่าเสียงคน) ได้หรือไม่ ทั้งนี้ Bland ระบุว่าการสาธิต TV Test ที่ปรากฏเป็นการแสดงตัวอย่างเพื่อพิสูจน์แนวคิด ไม่ใช่ผลลัพธ์ที่บันทึกสดจากตัวโมเดลจริง
Tofu-1 เปรียบเทียบกับโมเดล full-duplex อื่นๆ อย่างไร?
| คุณสมบัติ | Bland Tofu-1 | OpenAI GPT-Live-1 | NVIDIA NemotronLabs VoiceChat 11B | Block Dessa |
|---|---|---|---|---|
| ประเภท | Full-duplex speech-to-speech | Full-duplex voice model | Full-duplex speech-to-speech | Full-duplex speech-to-speech |
| พารามิเตอร์ | ไม่เปิดเผย | ไม่เปิดเผย | 11B | ไม่เปิดเผย |
| น้ำหนักโมเดล (Weights) | Closed | Closed | Open (OpenMDW 1.1) | ไม่ได้ปล่อย |
| ข้อมูลการฝึกสอน | การสนทนาจริงหลายล้านชั่วโมง | ไม่เปิดเผย | เสียงประมาณ 550,000 ชั่วโมงรวมกับข้อความ | เสียงมนุษย์เท่านั้น ไม่มีข้อความ |
| ฮาร์ดแวร์ | Bland-hosted | OpenAI-hosted | A100, H100, H200, B100, B200, RTX-6000 | MacBook Pro M4 Max หรือดีกว่า |
| ความหน่วงในการสลับลำดับการพูด | ไม่เปิดเผย | 0.798 วินาที (FDB v1) | 448 มิลลิวินาที (FDB) | ไม่เปิดเผย |
| การใช้เครื่องมือ (Tool use) | พูดต่อไปเรื่อยๆ ในขณะทำงาน | มอบหมายให้โมเดล backend | การเรียกใช้เครื่องมือแบบสด, การเลือกเครื่องมือแม่นยำ 82.5% (FDB v3) | ไม่เปิดเผย |
| การเข้าถึง | Enterprise research preview | API และ ChatGPT | Hugging Face checkpoint, NVIDIA container | Research preview สำหรับนักวิจัยด้านความปลอดภัย |
หมายเหตุ: ตัวเลขคู่แข่งอ้างอิงจากข้อมูลของผู้ให้บริการ ผลลัพธ์ FDB ใช้เกณฑ์มาตรฐานต่างเวอร์ชันจึงไม่สามารถเปรียบเทียบกันโดยตรงได้
ทีมต่างๆ จะเข้าถึง Tofu-1 ได้อย่างไร?
ปัจจุบันเปิดให้เข้าถึงแบบ Research preview เฉพาะองค์กรจำนวนจำกัด โดยเน้นกลุ่มเป้าหมายในภาคการธนาคาร การดูแลสุขภาพ การประกันภัย และภาครัฐ ซึ่งแบบฟอร์มการสมัครจะมีการสอบถามปริมาณการโทรต่อเดือน ตั้งแต่ระดับต่ำกว่า 1,000 ครั้ง ไปจนถึงมากกว่า 50,000 ครั้ง
สรุปประเด็นสำคัญ
- Tofu-1 เป็นโมเดล full-duplex ตัวแรกของ Bland ที่ออกแบบมาเพื่อรับมือกับการโทรที่มีเสียงรบกวนโดยเฉพาะ
- โมเดลประมวลผลจากเสียงโดยตรง ทำให้รับรู้ได้ทั้งอารมณ์และสภาพแวดล้อมของผู้โทร
- มีรายงานระบุว่ามากกว่า 92% ของผู้ถูกคัดกรองไม่สามารถแยกแยะได้ว่าเป็นโมเดล AI
- ขณะนี้ยังไม่มีการเปิดเผยข้อมูลเชิงเทคนิค เช่น ขนาดโมเดล ความหน่วง หรือราคา
- การเข้าถึงยังจำกัดอยู่ในช่วง enterprise preview และมีแผนจะพร้อมใช้งานกว้างขึ้นในเดือนมกราคม
ความคิดเห็น (0)
เข้าสู่ระบบเพื่อร่วมแสดงความเห็น
สมัครสมาชิกมาเป็นคนแรกที่แสดงความเห็นกันเลยโบร
