ผลทดสอบ Qwen 3.8 27B บนการ์ดจอ RTX 5090 และระบบ AI พกพา

โมเดล AI โอเพนเวกเตอร์ Qwen 3.8 27B จาก Alibaba กำลังได้รับความสนใจอย่างมากในกลุ่มผู้ใช้งาน AI ในท้องถิ่น เนื่องจากมีผลทดสอบอัจฉริยะที่น่าประทับใจเมื่อเทียบกับขนาดตัว โดยโมเดลขนาด 4-bit ใช้พื้นที่ประมาณ 17GB ทำให้สามารถรันบนการ์ดจอระดับสูงที่มี VRAM 24GB ขึ้นไปได้อย่าง RTX 5090, RTX 4090 หรือ RTX 3090

จากการทดสอบด้วยซอฟต์แวร์ llama.cpp บน RTX 5090 พบปัญหาด้านความเร็วอย่างมากในกรณีที่ใช้บริบท (Context) ยาว โดยต้องรอโทเค็นแรกนานถึง 30 นาที ซึ่งชี้ให้เห็นว่าซอฟต์แวร์ดังกล่าวยังไม่เหมาะสมกับฮาร์ดแวร์นี้ในปัจจุบัน แต่เมื่อเปลี่ยนมาใช้ vLLM หรือ SGLang ประสิทธิภาพจะดีขึ้นอย่างชัดเจน โดยเฉพาะ SGLang ที่ทำงานเร็วกว่าเกือบ 3 เท่าบนการ์ดใบเดียว

หากต้องการใช้งานบริบทเต็มพิกัด 262,000 โทเค็น การใช้การ์ดจอเพียงใบเดียวที่มี VRAM 32GB อาจไม่เพียงพอ ผลการทดสอบระบุว่าการใช้ RTX 5090 สองใบทำงานร่วมกันช่วยให้การประมวลผลรวดเร็วและรองรับบริบทได้สูงสุดตามที่โมเดลกำหนด แต่แลกมาด้วยต้นทุนฮาร์ดแวร์ที่สูงกว่า 13,000 ดอลลาร์สหรัฐ

นอกจากนี้ยังมีการทดสอบบนระบบ Unified Memory อย่าง Apple Mac Studio (M4 Max) และ Ryzen AI Halo ซึ่งแม้จะมีแบนด์วิดท์หน่วยความจำสูง แต่การประมวลผลคำสั่ง (Prompt Processing) ยังช้ากว่าแพลตฟอร์มของ Nvidia สรุปได้ว่าหากไม่ได้ทำงานกับข้อมูลที่อ่อนไหวมาก การใช้บริการผ่าน Cloud ยังคงเป็นทางเลือกที่รวดเร็วและคุ้มค่ากว่าสำหรับผู้ใช้ทั่วไปในขณะนี้