NVIDIA เผยแพลตฟอร์ม Vera Rubin ชูประสิทธิภาพ Tokens Per Watt
Ian Buck รองประธานฝ่าย Hyperscale และการคำนวณประสิทธิภาพสูงของ NVIDIA กล่าวสุนทรพจน์ในงาน AI Infra Summit ณ Santa Clara Convention Center ซึ่งในปีนี้มีผู้เข้าร่วมกว่า 8,000 คน เพิ่มขึ้นจากปีที่แล้วกว่าเท่าตัว สะท้อนถึงความตื่นตัวในเทคโนโลยีโครงสร้างพื้นฐาน AI
Buck ได้เปิดเผยถึงความร่วมมือครั้งสำคัญกับพันธมิตรหลายราย เช่น Annapurna Labs ของ Amazon ที่กำลังพัฒนาหน่วยความจำแบนด์วิดท์สูง NVHBM และ d-Matrix ที่นำ NVLink Fusion มาใช้ร่วมกับ NVIDIA Vera CPU เพื่อให้การทำ Inference ในระดับสเกลใหญ่มีความหน่วงต่ำเป็นพิเศษ
นอกจากนี้ NVIDIA และพันธมิตรยังได้โชว์ผลลัพธ์ที่น่าทึ่งจากเทคโนโลยีใหม่:
- Emerald AI และ NVIDIA สาธิตระบบจัดการภาระงานที่ยืดหยุ่นร่วมกับ Silicon Valley Power
- Lambda เพิ่มประสิทธิภาพต่อวัตต์ได้ถึง 23% ด้วย NVIDIA DSX MaxLPS
- Pinterest เริ่มใช้แพลตฟอร์ม Blackwell และซอฟต์แวร์ Dynamo เพื่อยกระดับการค้นหาด้วยภาพผ่าน Conversational AI
ปัจจุบัน Agentic AI กำลังขับเคลื่อนรูปแบบงานใหม่ๆ ที่ต้องการประสิทธิภาพและขนาดของโครงสร้างพื้นฐานที่สูงขึ้น NVIDIA จึงตอบโจทย์ด้วยโซลูชันแบบ Full-stack ตั้งแต่ระบบ Vera Rubin, ซอฟต์แวร์ Dynamo ไปจนถึงเครือข่ายความเร็วสูงอย่าง Spectrum-X Ethernet และ ConnectX SuperNICs
ตัวชี้วัดความสำเร็จของโครงสร้างพื้นฐาน AI กำลังเปลี่ยนจากประสิทธิภาพสูงสุด (Peak Performance) ไปสู่จำนวนโทเค็นต่อเมกะวัตต์ โดยแพลตฟอร์ม NVIDIA DSX MaxLPS สามารถส่งมอบโทเค็นต่อเมกะวัตต์ได้มากขึ้นถึง 1.4 เท่า จากการเพิ่มประสิทธิภาพพลังงานทั่วทั้งระบบโรงงาน
วันอังคารที่ 15 ก.ย. เวลา 9:55 น. PT
โปรแกรมรับภาระงานที่ยืดหยุ่นของ AI Factory ปลดล็อกพลังงานโครงข่ายมากขึ้น
Silicon Valley Power ได้ดำเนินโครงการเชื่อมต่อภาระงานที่ยืดหยุ่นเพื่อให้ AI factory สนับสนุนความเสถียรของโครงข่ายไฟฟ้า โดย Emerald AI ร่วมกับ NVIDIA สาธิตการลดภาระงานอัตโนมัติที่สามารถตอบสนองต่อสัญญาณความต้องการไฟฟ้าหลายร้อยรายการได้สำเร็จ โดยที่ยังคงประสิทธิภาพของงาน AI ไว้
Emerald AI วางแผนใช้ซอฟต์แวร์ Conductor บน NVIDIA DSX Flex เพื่อปรับการใช้พลังงานแบบไดนามิกตามสัญญาณราคาและแหล่งพลังงานแบบไฮบริด ทำให้สามารถลดพลังงานสำหรับงานที่มีความสำคัญต่ำลงโดยอัตโนมัติ และกลับสู่สภาวะปกติเมื่อโครงข่ายมีความพร้อม
ความสามารถนี้เปลี่ยน AI factory ให้เป็นทรัพยากรที่ยืดหยุ่น ช่วยลดความต้องการไฟฟ้าในช่วงวิกฤตและปกป้องงานสำคัญไปพร้อมกัน ซึ่งพิสูจน์ว่าโหลด AI ที่ควบคุมได้จะช่วยให้โครงข่ายไฟฟ้ารองรับการเติบโตในอนาคตได้ดียิ่งขึ้น
เรียนรู้เพิ่มเติม เกี่ยวกับความร่วมมือของ Emerald AI กับ Silicon Valley Power
วันอังคารที่ 15 ก.ย. เวลา 9:55 น. PT
Lambda เพิ่มประสิทธิภาพต่อวัตต์สูงสุดด้วย NVIDIA DSX MaxLPS
Lambda ผู้ให้บริการ AI Cloud ยืนยันผลการทดสอบ NVIDIA DSX MaxLPS บนเซิร์ฟเวอร์ Blackwell ซึ่งสามารถจัดสรรพลังงานแบบไดนามิกไปยังจุดที่ต้องการมากที่สุด แทนการจัดสรรแบบคงที่ที่มักเหลือพื้นที่ว่างโดยสูญเปล่า
ผลการทดสอบพบว่า Lambda สามารถรัน 19 โหนดได้ภายใต้งบประมาณพลังงานของ 16 โหนดเดิม ช่วยเพิ่มปริมาณการประมวลผลโทเค็น (Token Throughput) ขึ้น 24% และปรับปรุงประสิทธิภาพต่อวัตต์ได้ถึง 23% ส่วนในระบบ Vera Rubin NVL72 รุ่นใหม่ คาดว่าจะช่วยเพิ่มความจุ GPU ได้ถึง 40% ภายใต้งบประมาณพลังงานเดิม
เรียนรู้เพิ่มเติม เกี่ยวกับผลลัพธ์ของ Lambda
วันอังคารที่ 15 ก.ย. เวลา 9:55 น. PT
Vera Rubin และ Groq 3 LPX เปลี่ยนพลังงานให้เป็นโทเค็นได้มากขึ้น
ในยุคที่พลังงานมีจำกัด NVIDIA มุ่งเน้นการดึงศักยภาพจากทุกวัตต์ผ่าน Vera Rubin NVL72 ที่ทำงานร่วมกับซอฟต์แวร์ NVIDIA DSX MaxLPS ซึ่งช่วยเพิ่มจำนวน GPU ได้สูงสุด 40% และเพิ่มโทเค็นได้ 35% โดยไม่ต้องขยายสายส่งไฟฟ้าใหม่
สำหรับงาน Agentic AI ที่ต้องใช้เหตุผลซับซ้อน NVIDIA Groq 3 LPX จะเข้ามาเสริมการทำ Inference ที่มีความหน่วงต่ำเป็นพิเศษ เมื่อทำงานร่วมกับ Vera Rubin จะให้โทเค็นต่อเมกะวัตต์สูงกว่าระบบ GB200 NVL72 ถึง 35 เท่า สำหรับโมเดลขนาดใหญ่กว่า 2 ล้านล้านพารามิเตอร์
เรียนรู้เพิ่มเติม เกี่ยวกับวิธีที่ NVIDIA Vera Rubin NVL72 และ Groq 3 LPX ผลิตโทเค็นได้มากขึ้นด้วยพลังงานที่น้อยลง
วันอังคารที่ 15 ก.ย. เวลา 9:55 น. PT
Vera Rubin NVL72 ให้ปริมาณงานสูงขึ้น 30 เท่าบน SemiAnalysis AgentX
จากผลการทดสอบบน SemiAnalysis AgentX dashboard พบว่า Vera Rubin NVL72 ให้ปริมาณงานต่อเมกะวัตต์สูงกว่า GB300 NVL72 ถึง 30 เท่า ในการรันโมเดล DeepSeek V4 Pro ซึ่งเป็นเวิร์กโหลดแบบ Agentic ที่มีความซับซ้อนสูง
งานแบบ Agentic มักมีปริมาณโทเค็นสะสมมากกว่าคำขอแชททั่วไปถึง 15 เท่า ประสิทธิภาพที่สูงขึ้นนี้จึงส่งผลโดยตรงต่อความคุ้มค่าทางเศรษฐกิจของ AI factory ช่วยลดต้นทุนต่อล้านโทเค็นได้ถึง 45 เท่า และสร้างรายได้ได้มากขึ้นจากทรัพยากรพลังงานเท่าเดิม
ความสำเร็จนี้เกิดจากการออกแบบร่วมกัน (Codesign) ของฮาร์ดแวร์และซอฟต์แวร์ เช่น การเชื่อมต่อ NVLink รุ่นที่ 6 และสแตกซอฟต์แวร์อย่าง TensorRT-LLM โดยปัจจุบัน Vera Rubin อยู่ในสายการผลิตเต็มรูปแบบแล้ว
เรียนรู้เพิ่มเติม เกี่ยวกับสถาปัตยกรรมแพลตฟอร์มที่อยู่เบื้องหลังผลลัพธ์เหล่านี้
วันอังคารที่ 15 ก.ย. เวลา 9:55 น. PT
สตาร์ทอัพร่วมยืนยันประสิทธิภาพของ NVIDIA Vera CPU
เหล่าสตาร์ทอัพชั้นนำได้ทดสอบ Vera CPU กับเวิร์กโหลดต่างๆ และพบผลลัพธ์ที่น่าประทับใจ:
- Perplexity ระบุว่าการเริ่มต้น Sandbox สำหรับ AI เร็วขึ้น 1.9 เท่า
- ClickHouse รายงานว่า Vera เป็น CPU ที่เร็วที่สุดเท่าที่เคยทดสอบบน ClickBench สำหรับงานฐานข้อมูลเชิงวิเคราะห์
- Starburst พบปริมาณการค้นหาข้อมูลเร็วกว่า CPU อื่นๆ ถึง 3 เท่า
- DeepInfra และ Kinetica ต่างยืนยันถึงความหน่วงที่ต่ำลงและประสิทธิภาพที่สม่ำเสมอแม้รันงานขนานกันจำนวนมาก
วันอังคารที่ 15 ก.ย. เวลา 9:55 น. PT
NVIDIA NVLink 6 เสริมความแกร่งให้ AI Factory ระดับมหึมา
เมื่อ AI factory ขยายตัวสู่ระดับ GPU หลายแสนตัว ความน่าเชื่อถือคือสิ่งสำคัญที่สุด NVIDIA NVLink 6 จึงถูกออกแบบให้มีระบบกู้คืนจากข้อผิดพลาดหลายชั้น เพื่อป้องกันปัญหาฮาร์ดแวร์หรือการเสื่อมของสัญญาณที่อาจหยุดชะงักการทำงาน
ด้วยเทคโนโลยีการแก้ไขข้อผิดพลาดล่วงหน้า (Forward Error Correction) และการควบคุมการไหลแบบใช้เครดิต (Credit-based flow control) ทำให้เครือข่ายสามารถป้องกันการหยุดชะงักแบบต่อเนื่อง (Cascading Stalls) ช่วยรักษาปริมาณงานของ AI factory ให้เสถียรและต่อเนื่อง
เรียนรู้เพิ่มเติม เกี่ยวกับ NVIDIA NVLink 6
ความคิดเห็น (0)
เข้าสู่ระบบเพื่อร่วมแสดงความเห็น
สมัครสมาชิกมาเป็นคนแรกที่แสดงความเห็นกันเลยโบร