สร้างบ้านผีสิงด้วยโมเดลแบบเปิด NVIDIA Nemotron

หรือจะพูดอีกอย่างว่า…

แบร่! ไปให้พ้นสนามหน้าบ้านข้าเดี๋ยวนี้!

BlogThumbnail

TL;DR: MonsterHouse คือการฉายภาพแบบโต้ตอบ (interactive projection) ที่ผมสร้างขึ้นสำหรับวันฮาโลวีน โดยระบบจะคอยฟังเสียงเด็กๆ ที่มาเล่น trick-or-treat และตอบโต้ด้วยบุคลิกเรือโจรสลัดเก่าจอมขี้บ่นที่จะใจอ่อนลงเมื่อผู้มาเยือนมีมารยาท

โปรเจกต์นี้สร้างขึ้นบน NVIDIA Nemotron Voice Agent โดยใช้เทคโนโลยีครบวงจรทั้ง NVIDIA Nemotron ASR, Nemotron 3.5 Bolt E4B 4GB, Magpie TTS Zeroshot และ Audio2Face-3D รันอยู่บนเวิร์กสเตชันเครื่องเดียว

ผมอยากให้เด็กๆ มีปฏิสัมพันธ์ที่สนุกและไม่เหมือนใคร ตัวบ้านจะเป็นคนคุมสถานการณ์และแจกของขวัญในสไตล์ขี้บ่นมากกว่าน่ากลัว ทางแก้ของผมคือการสร้างปากให้ประตูโรงรถและสอนให้มันรู้จักบ่น กลายเป็น MonsterHouse อาคารเก่าที่มีเรื่องเล่าโจรสลัด รอยยิ้มลุกเป็นไฟ และแพ้ทางคำว่า “ได้โปรด”

Monster House ทำงานอย่างไร

การฟัง: NVIDIA Nemotron Speech ASR เปลี่ยนเสียงพูดของผู้มาเยือนให้เป็นข้อความ โดยใช้โมเดล nemotron-speech-streaming-en-0.6b.q8_0.gguf
การคิด: NVIDIA Nemotron 3.5 Bolt E4B 4GB ซึ่งเป็น Small Language Model แบบเปิดทำหน้าที่เป็นสมองเขียนคำตอบ เสริมบุคลิกด้วย LoRA adapter
การพูด: NVIDIA Magpie TTS Zeroshot เปล่งเสียงตอบโต้ตามตัวอย่างเสียงตัวละคร
การสร้างแอนิเมชัน: NVIDIA Audio2Face-3D เปลี่ยนเสียงพูดให้เป็นการเคลื่อนไหวของปากใน Unreal Engine 5
การมองเห็น: NVIDIA Nemotron 3 Nano Omni ช่วยบรรยายชุดคอสตูม ทำงานร่วมกับ YOLO และ ByteTrack ในการนับจำนวนผู้มาเยือน
การรันระบบ: ประสานงานผ่าน NVIDIA Nemotron Voice Agent บน GPU NVIDIA RTX PRO 6000 Blackwell Max-Q และ NVIDIA RTX PRO 4000 Blackwell

รอยยิ้มที่เต็มไปด้วยเสี้ยนไม้

ผมจินตนาการถึงแผ่นไม้ประตูโรงรถที่แยกออกเป็นริมฝีปากหยักขรุขระ พร้อมเปลวเพลิงนรกที่ส่องสว่างเมื่ออ้าปากพูด เขาต้องดูโบราณและรู้สึกขุ่นเคืองกับการมีอยู่ของผู้มาเยือน

fireMouth

การแสดงอารมณ์บางส่วนจากบ้านที่มีเรื่องจะพูดมากมาย

การสร้าง animation rig เป็นส่วนที่ใช้แรงงานมากที่สุด ผมสร้างตัวละคร SkelMesh ใน Autodesk Maya และส่งต่อไปยัง Unreal Engine เพื่อเติมไฟและเอฟเฟกต์ การไม่มีตาหรือคิ้วทำให้เขาเป็นสัตว์ประหลาดที่ประหยัดทรัพยากรอย่างน่าประหลาดใจ เมื่อนำมารวมกับ Nemotron Voice Agent ที่เตรียมระบบฟังและสนทนามาให้พร้อม ทำให้การสร้างตัวละครที่บ่นเก่งเป็นเรื่องง่ายขึ้นมาก

การสอนมารยาทที่ไม่ดี

ตัวบ้านมีปูมหลังว่าเป็นไม้จากเรือโจรสลัดอับปางที่ถูกตามหลอนด้วยพายุ มันจึงมักไล่ผู้มาเยือนด้วยคำพูดหยาบคาย แต่จะยอมใจอ่อนเมื่อได้ยินคำว่า “ได้โปรด” (Please) และกล่าวลาอย่างอบอุ่นเมื่อได้รับคำ “ขอบคุณ” (thank you) เนื่องจากผมต้องการให้ระบบทำงานออฟไลน์และพึ่งพาตัวเองได้ภายใต้งบประมาณหน่วยความจำที่จำกัด ผมจึงเลือกใช้ Bolt E4B โมเดลขนาดเล็กที่สร้างมาเพื่อ conversational agent โดยเฉพาะ ซึ่งรันได้ดีกว่าโมเดลขนาดใหญ่ตัวอื่นในระดับเดียวกัน เพื่อให้ได้โทนเสียงที่ถูกต้อง ผมฝึกฝน LoRA adapter จากชุดข้อมูลบทสนทนากว่า 5,000 ชุด ช่วยให้บ้านมีความคงเส้นคงวาในบุคลิกภาพ ไม่กลายเป็นพนักงานต้อนรับที่ร่าเริงเกินไป และยังเหลือพลังประมวลผลให้ส่วนอื่นๆ ในระบบทำงานได้ลื่นไหล

เสียงที่คุ้มค่าแก่การรอคอย

ระบบจะข้ามการสร้างบทสนทนาและสังเคราะห์เสียงในกรณีที่มีการแคชข้อความและเสียงที่บันทึกไว้ล่วงหน้าเพื่อความรวดเร็ว

บ้านผีสิงจะหมดเสน่ห์ทันทีหากใช้เวลานานเกินไปในการบ่น ผมจึงตั้งค่าให้ pipeline ปล่อยเสียงพูดออกมาทันทีที่คำตอบบางส่วนเริ่มเสร็จสมบูรณ์ พร้อมใช้คลังข้อความและเสียงที่แคชไว้สำหรับการทักทายทั่วไปเพื่อประหยัดงานของ LLM

median end-of-speech-to-audio with Bolt Q4 & TTS = 1.70 seconds
median end-of-speech-to-audio cached responses = 0.72 seconds
(note: speech-end detection currently waits for 300 ms of silence )

NVIDIA Magpie TTS Zeroshot ถูกใช้เพื่อเปลี่ยนข้อความเป็นภาษาอังกฤษแบบผู้ดี (Queen’s English) ในสำเนียงโจรสลัด โดยแบ่งอารมณ์ออกเป็น 7 ระดับ ตามที่ Bolt E4B ตัดสินใจ จากนั้น Audio2Face-3D จะรับเสียงที่สะอาดไปสร้างแอนิเมชันปาก ในขณะที่เสียงออกลำโพงจะมีการเติมเอฟเฟกต์ก้องกังวานแบบปีศาจเข้าไป

สัตว์ประหลาดมีโต๊ะควบคุม เพื่อให้ควบคุมได้ทุกสถานการณ์ ผมสร้าง interface สำหรับปรับอารมณ์ ติดตามการสนทนา และปรับจูนแอนิเมชันปาก รวมถึงมี soundboard และโหมด Microphone ที่ช่วยให้ผมพูดผ่านบ้านได้โดยตรงโดยข้ามการประมวลผล AI ซึ่งเป็นแผนสำรองที่มีประโยชน์

โต๊ะควบคุมของ MonsterHouse พร้อมฟังก์ชันปรับแต่งครบครัน

นอกจากนี้ยังใช้ NVIDIA Nemotron 3 Nano Omni เป็น VLM ช่วยให้บ้านมองเห็นและบรรยายชุดคอสตูมของผู้มาเยือนได้จากการทดสอบจำลอง (เช่น แกะใส่ชุดคอสตูม) แม้ระบบจะยังต้องพัฒนาต่อในด้านแอนิเมชันและการแจกขนมอัตโนมัติ แต่นี่คือจุดเริ่มต้นของการสร้างปฏิสัมพันธ์ที่น่าประทับใจ

สร้างตัวละครของคุณเอง

คุณสามารถสร้างระบบนี้ได้ด้วยตัวเองโดยใช้โมเดลของ NVIDIA ที่เปิดให้ใช้งานแล้ววันนี้:

เริ่มจาก voice pipeline: โคลน NVIDIA Nemotron Voice Agent
ใช้ Bolt E4B เป็นสมอง: เลือกใช้ Bolt E4B สำหรับการประมวลผลบนเครื่อง
มอบบุคลิกภาพ: ใช้ system prompt หรือฝึก LoRA ด้วย NVIDIA NeMo AutoModel
มอบเสียง: ใช้ Magpie TTS Zeroshot สำหรับเสียงที่เป็นเอกลักษณ์
มอบใบหน้า: ใช้ NVIDIA Audio2Face-3D สร้างแอนิเมชันจากเสียง
มอบดวงตา: เพิ่มความเข้าใจภาพผ่าน NVIDIA Nemotron 3 Nano Omni

สร้างบ้านผีสิงอัจฉริยะด้วยโมเดลเปิด NVIDIA Nemotron