Jailbroken PS4 รันโมเดล AI ขนาด 9 พันล้านพารามิเตอร์ได้สำเร็จ

· By: SirilukP

นักพัฒนา Leonardo Alegría เปิดตัวโปรเจกต์โอเพนซอร์สชื่อ Garlic LLM ที่ช่วยให้เครื่อง PlayStation 4 (PS4) รุ่นดั้งเดิมปี 2013 ที่ผ่านการ Jailbreak และรัน GoldHEN สามารถประมวลผลโมเดล AI ขนาด 9 พันล้านพารามิเตอร์อย่าง Qwen3.5-9B ของ Alibaba ได้โดยไม่ต้องใช้พีซีหรืออินเทอร์เน็ต

ตัวแอปพลิเคชันถูกออกแบบมาให้สื่อสารกับ GPU ของคอนโซลโดยตรงและปรับขนาดโมเดลให้เหลือประมาณ 4.5GiB เพื่อให้พอดีกับหน่วยความจำ 8GB ของเครื่อง โดยสามารถทำความเร็วในการสนทนาได้ที่ 31 ถึง 39 tokens ต่อวินาที และพุ่งสูงถึง 43 tokens ต่อวินาทีสำหรับการเขียนโค้ด ซึ่งถือว่าใช้งานได้จริงบนฮาร์ดแวร์รุ่นเก่า

ระบบรองรับการสั่งงานด้วยเสียงและการตอบกลับเป็นเสียงได้ถึง 7 ภาษาผ่านโมเดล Chatterbox รวมถึงการแปลงเสียงเป็นข้อความด้วย Parakeet TDT 0.6B v3 ของ Nvidia ที่รองรับภาษาในยุโรป 25 ภาษา โดยใช้เทคนิคการลดทอนน้ำหนักข้อมูลแบบ 4-bit และ 3-bit เพื่อประหยัดพื้นที่แรม

ในด้านเทคนิค Garlic LLM ไม่ได้ใช้งาน llama.cpp หรือ Vulkan เหมือนใน PS5 แต่ใช้วิธีเขียน Compute Kernels ด้วย OpenCL C และคอมไพล์สำหรับสถาปัตยกรรม GCN ของ AMD โดยเฉพาะ พร้อมใช้เทคนิค Multi-token Prediction (MTP) เพื่อคาดเดาคำล่วงหน้าช่วยเพิ่มความเร็วในการประมวลผล

ปัจจุบัน Garlic LLM รองรับการทำงานบน PS4 รุ่นมาตรฐานและ Slim ที่เป็นเฟิร์มแวร์ 11.52 ส่วน PS4 Pro ยังอยู่ในขั้นตอนรอผลทดสอบจากผู้ใช้งาน และไม่รองรับ PS5 เนื่องจากโค้ดถูกเขียนขึ้นมาเพื่อสถาปัตยกรรมเฉพาะของ PS4 เท่านั้น

Source: Tom's Hardware
ดูแลงานแปลและเรียบเรียงโดย SirilukP
A black PlayStation 4 console lying flat with a DualShock 4 controller in front of itGarlic LLM chat screen on a PS4 showing a bulleted answer on why the sky is blue and sunsets are red

ความคิดเห็น (0)

เข้าสู่ระบบเพื่อร่วมแสดงความเห็น

สมัครสมาชิก

มาเป็นคนแรกที่แสดงความเห็นกันเลยโบร