Lambda อัปเกรด AI Factory ด้วย NVIDIA Photonics เสริมความทนทาน

การฝึกฝนโมเดล AI ในปัจจุบันต้องอาศัย GPU หลายพันตัวทำงานสอดประสานกัน ซึ่งจำเป็นต้องมีระบบเครือข่ายที่รวดเร็ว มีประสิทธิภาพ และมีความทนทานสูงเป็นหัวใจสำคัญ
Lambda กำลังแก้โจทย์ความท้าทายด้านเครือข่ายนี้ด้วยการนำสวิตช์ NVIDIA Photonics แบบ co-packaged optics (CPO) มาใช้งาน โดยผู้ให้บริการคลาวด์รายนี้เลือกใช้สวิตช์ดังกล่าวเพื่อเชื่อมต่อแร็ค NVIDIA GB300 NVL72 ที่มี GPU รวมกันมากกว่า 10,000 ตัว ซึ่งช่วยให้ AI factory ระดับสเกลใหญ่ใช้พลังงานน้อยลง มีความทนทานเพิ่มขึ้น และขยายระยะเวลาเฉลี่ยระหว่างการขัดจังหวะ (MTBI) ให้ยาวนานกว่าเดิม
“ระบบเครือข่ายต้องก้าวให้ทันความต้องการของคลัสเตอร์ AI ที่มีขนาดใหญ่ขึ้นเรื่อยๆ” Dave Ward ประธานฝ่ายบริการคลาวด์ของ Lambda กล่าว “การนำ co-packaged optics เข้ามาใช้ในการติดตั้งระดับสเกลขนาดนี้ เป็นขั้นตอนสำคัญในการสร้างโครงสร้างพื้นฐานที่จำเป็นเพื่อรองรับ AI ยุคถัดไป”
จากการทดสอบของบริษัทพบว่าสวิตช์ดังกล่าวช่วยลด Network Latency หรือเวลาที่ใช้ในการเคลื่อนย้ายข้อมูลลงได้ประมาณ 4% ในระดับแร็ค และลดลงสูงสุดถึง 10% ในระดับพ็อด (pod) โดยไม่ว่าจะเป็นการกำหนดค่าแบบแร็ค, scalable unit หรือพ็อด ระบบเครือข่ายยังคงรักษา Throughput ได้ดีเยี่ยมไม่ต่างจาก pluggable optics แบบเดิม
มอบประสิทธิภาพการใช้พลังงานและความทนทานในระดับสเกล
การเพิ่มประสิทธิภาพด้านพลังงานและความทนทานมีความสำคัญอย่างยิ่ง เพราะเครือข่ายคือศูนย์กลางผลิตภาพของ AI factory
ในงานฝึกฝนโมเดลขนาดใหญ่ หากมีลิงก์เชื่อมต่อขัดข้องเพียงจุดเดียว อาจส่งผลให้ GPU หลายพันตัวต้องหยุดชะงักลง สำหรับงานด้าน agentic inference การขัดข้องของเครือข่ายเพียงครั้งเดียวสามารถส่งผลกระทบต่อเนื่องไปยังเอเจนต์จำนวนมาก ซึ่งทุกการขัดจังหวะหมายถึงต้นทุนด้านเวลาที่สูญเสียไป และทุกวัตต์ที่ใช้กับระบบเครือข่ายก็คือพลังงานที่ไม่สามารถนำไปใช้ในการประมวลผลได้โดยตรง
NVIDIA Photonics เข้ามาตอบโจทย์ทั้งด้านพลังงานและความทนทาน ด้วยการเปลี่ยนจาก pluggable transceivers มาเป็น optical engines แบบ co-packaged บนแพ็คเกจของสวิตช์โดยตรง ส่งผลให้ประสิทธิภาพการใช้พลังงานดีขึ้นสูงสุด 5 เท่า และมีความน่าเชื่อถือเพิ่มขึ้นถึง 15 เท่า เมื่อเทียบกับเทคโนโลยีเดิม นอกจากนี้ยังใช้เลเซอร์น้อยลง 4 เท่า ซึ่งช่วยลดจำนวนส่วนประกอบที่มีความเสี่ยงต่อการล้มเหลวลงด้วย
Optics ที่เย็นกว่าและแหล่งกำเนิดแสงที่เปลี่ยนได้ช่วยเพิ่มความทนทาน
ระบบที่ Lambda ติดตั้งเลือกใช้สวิตช์ NVIDIA Photonics ที่มีพอร์ตใช้งาน 144 พอร์ต ความเร็ว 800Gb/s ต่อพอร์ต โดยใช้ระบบระบายความร้อนด้วยของเหลวเพื่อดึงความร้อนออกจากชิปสวิตช์และ optical engines
ผลลัพธ์ที่ได้คืออุณหภูมิเฉลี่ยของ optics อยู่ที่เพียง 36°C เทียบกับ 51°C ใน pluggable optics แบบเดิม ซึ่งจากการทดสอบพบว่ามีความเสถียรของความสมบูรณ์ของสัญญาณ (signal integrity) ที่สูงขึ้นชัดเจน
นอกจากนี้ NVIDIA Photonics ยังนำการแปลงสัญญาณไฟฟ้าเป็นแสงมาไว้ใกล้กับชิปสวิตช์มากขึ้น โดยสวิตช์แต่ละตัวจะมีแหล่งกำเนิดแสงภายนอกแบบถอดออกได้ 18 ชุด ทำหน้าที่ส่งแสงไปยัง optical engines ที่วางอยู่ข้างชิปบนแพ็คเกจเดียวกัน เพื่อแปลงสัญญาณและส่งข้อมูลผ่านเส้นใยนำแสงไปยังส่วนต่างๆ ของคลัสเตอร์
ข้อดีที่สำคัญคือช่างเทคนิคสามารถเปลี่ยนโมดูลแหล่งกำเนิดแสงที่หน้างานได้ทันที ต่างจาก pluggable optics แบบดั้งเดิมที่ต้องเปลี่ยนโมดูลทั้งหมดหากเลเซอร์เสียหาย
การใช้ Co-packaging ยังช่วยย่นระยะทางเดินสัญญาณไฟฟ้าจากระดับนิ้วให้เหลือเพียงระดับมิลลิเมตร ซึ่งช่วยลดการสูญเสียสัญญาณและลดความจำเป็นในการใช้ชิป retimer ส่งผลให้ทั้งการใช้พลังงานและจำนวนชิ้นส่วนในเส้นทางเดินสัญญาณลดลงอย่างมีนัยสำคัญ
สำรวจ NVIDIA Photonics และอ่าน ประกาศการติดตั้ง ของ Lambda
ความคิดเห็น (0)
เข้าสู่ระบบเพื่อร่วมแสดงความเห็น
สมัครสมาชิกมาเป็นคนแรกที่แสดงความเห็นกันเลยโบร
