Moonshot AI ปล่อย Kimi-K3.1-Pro แบบ open-weights ขนาด 3T

เรื่องย่อ

ผู้ใช้ u/ApprehensiveAd3629 ได้แชร์ข่าวการปล่อยตัว Kimi-K3.1-Pro ในรูปแบบ open-weights บน Hugging Face ซึ่งเป็นโมเดลขนาดใหญ่ถึง 3T (3 ล้านล้านพารามิเตอร์) การเคลื่อนไหวครั้งนี้ได้รับความสนใจอย่างมากในบอร์ด LocalLLaMA โดยมีคะแนนโหวตกว่า 1,200 upvote และคอมเมนต์อีกกว่า 200 รายการ เนื่องจากเป็นการปล่อยโมเดลประสิทธิภาพสูงภายใต้เงื่อนไขการใช้งานที่ค่อนข้างยืดหยุ่น

คนในกระทู้ว่าอย่างไร

• ความเห็นส่วนใหญ่ทึ่งกับเงื่อนไขสัญญาอนุญาตที่อนุญาตให้ใช้งานส่วนตัวได้เต็มที่ และขอเพียงแค่ระบุที่มาสำหรับการใช้งานเชิงพาณิชย์ (ยกเว้นผู้ให้บริการ API) ซึ่งถือว่าใจกว้างมากสำหรับโมเดลระดับนี้
• มีการตั้งข้อสังเกตเรื่องความสามารถของโมเดล โดยมีข้อมูลระบุว่าเวอร์ชัน open-weights นี้อาจจะไม่เก่งด้านความปลอดภัยทางไซเบอร์เท่ากับเวอร์ชันที่รันผ่าน API ของทางผู้พัฒนาเอง
• ประเด็นหลักที่คนพูดถึงคือ "สเปกเครื่อง" ที่ต้องใช้รัน เพราะโมเดลขนาด 3T นั้นใหญ่เกินกว่าที่เซิร์ฟเวอร์ราคาแพงทั่วไปจะรับไหว มีคนคำนวณว่าแม้จะบีบอัดเหลือ 4 bits ก็ยังต้องใช้หน่วยความจำถึง 1.56 TB ซึ่งอาจต้องใช้ Mac Studio สเปกสูงสุดถึง 4 เครื่องมาเชื่อมต่อกัน
• เกิดการทำมุกตลกประชดประชันเกี่ยวกับฮาร์ดแวร์ของตัวเอง เช่น บางคนบอกว่าพร้อมรันบนการ์ดจอเก่าอย่าง GTX 1030 หรือบางคนถามว่าจะรันบนเครื่องคอมพิวเตอร์รุ่นโบราณ 386 ได้ไหม ขณะที่บางคนมองโลกในแง่ดีว่าในอนาคตลูกหลานเราอาจจะรันโมเดลระดับนี้ได้บน iPad Mini
• มีคนเสนอไอเดียทางเทคนิคเรื่องการรันโมเดลผ่าน SSD ความเร็วสูง (PCIe 5.0 ทำ Raid 0) เพื่อแก้ปัญหาการขาดแคลน RAM แม้ความเร็วจะช้าลงแต่ก็น่าจะเป็นทางเลือกที่เป็นไปได้ในงบประมาณที่เข้าถึงง่ายขึ้นในอีกไม่กี่ปีข้างหน้า

อัปเดต

เจ้าของกระทู้ร่วมแสดงความเห็นติดตลกในคอมเมนต์ แนะนำให้รันโมเดลด้วยการบีบอัดไฟล์ระดับต่ำสุดๆ (strata q0.0001xl-ud.gguf) เพื่อให้พอจะรันบนการ์ดจอระดับล่างได้