Mistral AI ปล่อย Mistral Large 4 โมเดลใหญ่ขนาด 1T แบบ open weight

เรื่องย่อ

u/Few_Painter_5588 ได้แชร์ข่าวการเปิดตัว Mistral Large 4 (โค้ดเนม Le Chonk) จาก Mistral AI ซึ่งเป็นการปล่อยโมเดลแบบ open weight ให้ดาวน์โหลดไปใช้งานได้บน Hugging Face โดยจุดเด่นคือเป็นโมเดลขนาดใหญ่ถึง 1T (1 ล้านล้านพารามิเตอร์) และใช้สถาปัตยกรรมแบบ Mixture of Experts (MoE) ที่มีพารามิเตอร์ทำงานจริง 52B ต่อโทเคน กระทู้ได้รับความสนใจอย่างมากด้วยจำนวน 1,126 upvote และ 191 คอมเมนต์

คนในกระทู้ว่าอย่างไร

• กลุ่มใหญ่รู้สึกดีใจที่มีผู้พัฒนาจากฝั่งตะวันตกปล่อยโมเดลขนาดใหญ่ระดับ 1T ออกมาสู้กับโมเดลจากจีนบ้าง โดยมองว่าเป็นเรื่องดีสำหรับองค์กรในยุโรปหรือหน่วยงานรัฐที่ต้องการความเป็นส่วนตัวและข้อมูลที่สอดคล้องกับกฎหมายในภูมิภาค
• มีการตั้งข้อสังเกตเรื่องขนาดของโมเดลที่ใหญ่เกินไปสำหรับผู้ใช้ทั่วไป เพราะต้องใช้พื้นที่ดาวน์โหลดถึง 1.6 TB และต้องใช้ฮาร์ดแวร์ระดับราคาหลักแสนเหรียญถึงจะรันได้ แม้จะมีทางออกด้วยการทำ quantization ให้เหลือ 1-bit แต่คนส่วนใหญ่ก็มองว่าอาจจะทำให้ประสิทธิภาพลดลงเกินไป
• มีประเด็นถกเถียงเรื่องการตลาดที่เน้นว่าเป็นโมเดลสำหรับนักเขียนโปรแกรม โดยมีคนมองว่าโลกนี้คนส่วนใหญ่ไม่ได้เขียนโค้ด การทำโมเดลเหมือนเป็น "เก้าอี้รถเข็นสำหรับโปรแกรมเมอร์" อาจไม่ช่วยให้แบรนด์เป็นที่รู้จักในวงกว้าง แต่ก็มีคนแย้งว่าผู้ใช้งาน LLMs ส่วนใหญ่ในปัจจุบันใช้เพื่อช่วยเขียนโค้ดจริงๆ
• บางส่วนวิจารณ์เรื่องความปลอดภัยที่ใส่มามากเกินไป (safety-maxxing) จนทำให้โมเดลปฏิเสธคำสั่งบ่อยเกินความจำเป็น รวมถึงความแม่นยำที่บางคนทดสอบแล้วรู้สึกว่ายังแพ้คู่แข่งอย่าง GLM 5.3 ในแง่ของความมั่นใจเกินเหตุ (overconfidence) ในคำตอบที่ผิด
• มีคนมองว่าแม้ Mistral จะมีทรัพยากร GPU น้อยกว่าค่ายยักษ์ใหญ่อย่าง Meta หลายเท่าตัว แต่การปล่อยโมเดลขนาดนี้ออกมาถือเป็นก้าวสำคัญ และน่าจะนำไปทำ finetune ต่อให้เก่งขึ้นได้อีกมาก

อัปเดต

เจ้าของกระทู้ระบุเพิ่มเติมว่า Mistral กำลังเคลมประสิทธิภาพไว้สูงมาก แต่ก็น่ายินดีที่เห็นพวกเขากลับมาท็อปฟอร์มอีกครั้ง พร้อมให้ข้อมูลว่าโมเดลนี้จะเป็นรากฐานให้กับโมเดลเฉพาะทางรุ่นต่อๆ ไปในอนาคต