ความปวดหัวเมื่อลองเขียน Inference Engine ด้วยตัวเอง

เรื่องย่อ

กระทู้นี้เป็นโพสต์กึ่งขำกึ่งระบายของ u/CodeMichaelD ที่พยายามสร้าง Inference Engine ของตัวเองขึ้นมาใหม่แทนการใช้ไลบรารีสำเร็จรูป โดยใช้เทคนิคการรันโมเดล GGUF Q4 ผ่าน WebGL2 บนเบราว์เซอร์ แต่ผลลัพธ์ที่ได้กลับกลายเป็นความพังพินาศ เมื่อ AI เริ่มตอบคำถามด้วยประโยคประหลาดๆ ผสมกับเครื่องหมายตกใจจำนวนมหาศาลแบบไม่หยุดยั้ง จนเจ้าตัวถึงกับบ่นว่าควรจะไปใช้ llama.cpp ตั้งแต่แรกดีกว่า กระทู้นี้ได้รับความสนใจอย่างมากโดยมียอด Upvote กว่า 1,000 ครั้งและคอมเมนต์อีกกว่า 200 รายการ

คนในกระทู้ว่าอย่างไร

• มีความเห็นเชิงเทคนิควิเคราะห์ว่า ปัญหาที่ AI ตอบเป็นเครื่องหมายตกใจรัวๆ (!!!!!!!!!!!!) อาจเกิดจากความผิดพลาดในขั้นตอน GLSL shader เช่น การคำนวณที่ทำให้เกิดค่า NaN หรือ 0.0 จนทำให้ระบบเลือก Token ID 0 ซึ่งในโมเดล Qwen คือเครื่องหมายตกใจนั่นเอง
• อดีตพนักงาน Amazon ที่เคยทำโปรเจกต์ AWS Nova Forge เข้ามาแชร์ประสบการณ์ว่า การทำให้ Inference Engine ทำงานได้ตรงตามมาตรฐานนั้นเป็นฝันร้ายที่ยากอย่างเหลือเชื่อ เพราะมีพารามิเตอร์นับหมื่นที่อาจส่งผลต่อคุณภาพของผลลัพธ์
• บางคนแซวว่า AI ตัวนี้ดูมีความเป็นตัวของตัวเองและดู "ตื่นเต้น" มากกว่าโมเดลเนี๊ยบๆ อย่าง Claude และมองว่าเป็นเครื่องผลิต Creepypasta (เรื่องสยองขวัญเน็ต) ชั้นดี
• มีคนแนะนำว่าไม่ควรเขียนเองตั้งแต่ต้น (Reinventing the wheel) เพราะมีเทคโนโลยีอย่าง WebGPU ใน llama.cpp ให้เลือกใช้อยู่แล้ว

อัปเดต

u/CodeMichaelD ได้เข้ามาอัปเดตว่าเขาสามารถแก้ไขบั๊กกว่า 10 จุดที่ทำให้ AI ตกอยู่ใน "โหมดสนุกสนาน" ได้แล้ว และถามชาว Reddit ว่าเขาควรเก็บโหมดที่ AI ตอบแบบเพี้ยนๆ นี้ไว้เป็นฟีเจอร์เสริมดีหรือไม่ ซึ่งก็มีคนเห็นด้วยว่าควรเก็บไว้