ฮือฮาพบคนรัน Qwen 27B บน GPU ของเครื่อง PS5 ที่ผ่านการ Jailbreak

เรื่องย่อ

กลายเป็นประเด็นที่ได้รับความสนใจอย่างมากในชุมชน LocalLLaMA เมื่อ u/LatentSpacer ได้แชร์ข้อมูลว่ามีคนสามารถรันโมเดลภาษาขนาดใหญ่ (LLM) อย่าง Qwen 27B บนหน่วยประมวลผลกราฟิก (GPU) ของเครื่องเล่นเกม PlayStation 5 (PS5) ที่ถูก Jailbreak ได้สำเร็จ โดยทำความเร็วได้ประมาณ 20 tok/s กระทู้นี้ได้รับความสนใจอย่างรวดเร็วด้วยคะแนนกว่า 1,000 upvote และมีการวิเคราะห์ถึงความเป็นไปได้ทางเทคนิคอย่างเผ็ดร้อน

คนในกระทู้ว่าอย่างไร

• กลุ่มหนึ่งรู้สึกตื่นเต้นและรำลึกความหลัง โดยเปรียบเทียบกับยุค PS3 ที่เคยมีการนำเครื่องมาต่อพ่วงกัน (Daisy Chaining) เพื่อใช้ในโปรเจกต์คำนวณทางวิทยาศาสตร์ และคาดเดาว่าเราอาจจะได้เห็นคนนำ PS5 หลายเครื่องมาเชื่อมต่อกันเพื่อรัน AI ในลักษณะเดียวกันอีกครั้ง
• มีการตั้งข้อสังเกตเรื่องข้อจำกัดของหน่วยความจำ (VRAM) โดยชี้ว่า PS5 มี RAM แบบ GDDR6 เพียง 16GB ซึ่งการจะรันโมเดลขนาด 27B ให้ได้ความเร็วนี้น่าจะเกิดจากการใช้เทคนิค Quantization ระดับต่ำมาก เช่น IQ2_XXS ซึ่งอาจส่งผลต่อคุณภาพของคำตอบที่ได้
• คอมเมนต์ที่ได้รับความสนใจสูงมองว่าตัวเลขความเร็ว 20 tok/s นั้นไม่มีความหมายเลยหากไม่ระบุระดับการ Quant ที่ชัดเจน เพราะหากบีบอัดข้อมูลมากๆ แม้แต่เครื่องใช้ไฟฟ้าทั่วไปก็อาจรันโมเดลใหญ่ๆ ได้ แต่ความฉลาดของโมเดลจะลดลงไปอย่างมากจนแทบจะกลายเป็นคนละโมเดลกัน
• หลายคนเริ่มกังวลถึงผลกระทบด้านราคาเครื่องเกม โดยหวั่นใจว่าหากเครื่อง PS5 กลายเป็นทางเลือกราคาถูกในการรัน AI อาจทำให้ราคาเครื่องมือสองพุ่งสูงขึ้นเหมือนกับที่เคยเกิดขึ้นกับตลาดการ์ดจอ PC
• มีข้อมูลเพิ่มเติมจากผู้ใช้งานที่เคยลองกับบอร์ด BC-250 (ซึ่งเป็นชิปตัวเดียวกับ PS5) ระบุว่าพวกเขาสามารถจัดสรรหน่วยความจำได้ประมาณ 14.7GiB บนระบบปฏิบัติการแบบปรับแต่งเอง ซึ่งเพียงพอสำหรับการรันโมเดลบางตัวพร้อม Context ขนาด 30k