AMD เปิดตัว EPYC 256 คอร์ แบนด์วิดท์หน่วยความจำจ่อท้าย RTX 5090

เรื่องย่อ

กลายเป็นประเด็นที่คนรัก AI ให้ความสนใจอย่างมากเมื่อ u/Dany0 โพสต์ข้อมูลเกี่ยวกับ CPU ตระกูล EPYC รุ่นใหม่ของ AMD (สถาปัตยกรรม Zen 6 'Venice') ที่จัดเต็มถึง 256 คอร์ และรองรับหน่วยความจำ DDR5-12800 แบบ 16-channel ซึ่งเจ้าของกระทู้ระบุว่ามี Memory Bandwidth สูงถึง 91% ของการ์ดจอตัวท็อปอย่าง RTX 5090 เลยทีเดียว กระทู้นี้ได้รับความสนใจอย่างล้นหลามด้วยคะแนนกว่า 1,100 upvote และกว่า 200 คอมเมนต์ โดยเน้นไปที่การวิเคราะห์ว่ามันจะเอามาใช้รัน LLM (Large Language Models) ระดับท้องถิ่นได้ดีแค่ไหน

คนในกระทู้ว่าอย่างไร

• กังวลเรื่องราคาอุปกรณ์ที่อาจสูงลิ่ว: คอมเมนต์ที่ได้รับความนิยมสูงสุดเตือนว่า ราคาแรม DDR5 แบบ ECC สำหรับเซิร์ฟเวอร์นั้นแพงมหาศาลอยู่แล้ว และการจะจัดชุดแรมให้เต็มประสิทธิภาพของ CPU ตัวนี้อาจต้องใช้เงินมหาศาลจนมีคนแซวว่าต้องขายไตหรือใช้เงินระดับ GDP ของประเทศเล็กๆ เลยทีเดียว
• วิเคราะห์ความคุ้มค่าในการรัน AI: แม้จะมีคอร์เยอะแต่เจ้าของกระทู้คำนวณคร่าวๆ ว่าประสิทธิภาพ FP16 TFLOPs อาจจะอยู่แค่ระดับการ์ดจอ RX 6800 XT

อย่างไรก็ตาม มีมุมมองว่าการรัน Inference ด้วย CPU มีข้อดีเรื่องความยืดหยุ่น และอาจเกิดโมเดลการทำงานแบบใหม่ เช่น ใช้ GPU ช่วยในช่วงเริ่มต้น (Prefill) และใช้ CPU ในช่วงประมวลผลคำตอบ (Decode) เพื่อประหยัดพลังงาน

• ข้อสังเกตเรื่องเทคโนโลยีแรม: มีผู้เชี่ยวชาญเข้ามาแย้งเรื่องตัวเลขแบนด์วิดท์ว่าอาจไม่ได้สูงตามโฆษณา 100% เพราะเป็นการใช้เทคโนโลยี MRDIMM ซึ่งเป็นการเพิ่มความเร็วในทางเทคนิค และยังมีข้อสงสัยเรื่องคอขวดของ Infinity Fabric ของ AMD ที่อาจส่งข้อมูลได้ไม่เร็วเท่าตัวเลขทางทฤษฎี
• สะท้อนความห่างชั้นของอุปกรณ์ผู้บริโภคทั่วไป: หลายคนตัดพ้อว่าเทคโนโลยีหลายแชนเนลแบบนี้ควรจะลงมาถึงระดับผู้ใช้งานทั่วไปได้แล้ว เพราะฝั่งผู้บริโภคติดอยู่กับระบบ Dual Channel มานานเกินไป ในขณะที่บางคนก็แซวว่านี่มันไม่ใช่กระทู้สำหรับคนรัน AI ทั่วไปแล้ว แต่เป็นระดับเศรษฐีสร้าง Data Center ส่วนตัวชัดๆ
• การรอคอยในอนาคต: บางส่วนมองข้ามไปถึงอนาคตว่า อีกประมาณ 10 ปีข้างหน้า เมื่อ CPU เหล่านี้ตกรุ่นและถูกนำมาดัดแปลงลงบอร์ดมือสองจากจีน ตลาด Home Lab สำหรับรัน AI ในตอนนั้นคงจะดุเดือดน่าดู