Meta เปิดตัว MetaRoCE โปรโตคอล RDMA ใหม่ ยกระดับเครือข่าย Ethernet สำหรับการฝึก AI ขนาดใหญ่

การฝึกฝนและให้บริการโมเดล AI ระดับแนวหน้าในปัจจุบันไม่ได้เป็นเพียงปัญหาด้านพลังการคำนวณเท่านั้น แต่ยังเป็นปัญหาด้านเครือข่ายที่สำคัญอีกด้วย เนื่องจากการทำงานร่วมกันอย่าง all-reduce และ all-to-all ต้องอาศัยการประสานงานของตัวเร่งความเร็วหลายพันตัวพร้อมกัน ซึ่งการส่งข้อมูลที่ช้าที่สุดจะเป็นตัวกำหนดความเร็วของงานทั้งหมด แม้แต่ความหน่วงเพียงเล็กน้อยก็อาจทำให้ขีดความสามารถในการคำนวณมหาศาลถูกปล่อยทิ้งไว้อย่างเปล่าประโยชน์

ในสัปดาห์นี้ Meta ได้เปิดตัว MetaRoCE โปรโตคอลรับส่งข้อมูล RDMA ที่ออกแบบใหม่ทั้งหมด (clean-sheet) เพื่อรองรับเวิร์กโหลด AI บน Ethernet โดยเฉพาะ การออกแบบนี้ฉีกกฎจาก RoCE มาตรฐานที่มักคาดหวังให้เครือข่ายส่งข้อมูลตามลำดับและพึ่งพา PFC ซึ่งไม่รองรับการกระจายแพ็กเก็ต (packet spraying) ในเครือข่ายขนาดใหญ่ แต่ MetaRoCE กลับมองว่าโครงสร้างเครือข่ายสามารถมีความสูญเสียได้ (lossy) แล้วผลักภาระการจัดลำดับและการกู้คืนข้อมูลไปไว้ที่ NIC แทน โดย Meta กำลังเผยแพร่ทั้งข้อกำหนด, ซอฟต์แวร์อ้างอิง และชุดทดสอบผ่าน Open Compute Project (OCP)

สถานะปัจจุบันและความพร้อมใช้งาน

โครงการนี้ยังไม่พร้อมใช้งานในทันที โดยคาดว่าผลงานต่างๆ จะเริ่มส่งมอบในช่วงเดือนตุลาคม 2026 ซึ่ง Meta วางแผนจะเผยแพร่ข้อกำหนด MetaRoCE, ซอฟต์แวร์อ้างอิงที่ปรับแต่งด้วย DPDK และโครงสร้างการทดสอบในงาน 2026 OCP Global Summit สำหรับด้านฮาร์ดแวร์นั้นยังอยู่ในช่วงเริ่มต้น โดยมีการทดสอบความสำเร็จแล้วบนโปรแกรมเมเบิล NIC ของ AMD Pensando และกำลังอยู่ระหว่างการพัฒนาการรองรับจากผู้ผลิตรายอื่นๆ เพิ่มเติม

ปรับปรุงโครงสร้างเครือข่ายเพื่อรองรับ GPU ระดับแสนตัว

Meta ได้ขยายคลัสเตอร์จนครอบคลุม GPU หลายแสนตัวในศูนย์ข้อมูลหลายแห่ง ซึ่งในขนาดเช่นนี้ เครือข่ายกลายเป็นเส้นทางวิกฤต (critical path) ในทุกขั้นตอนการฝึกฝน เนื่องจาก RoCE มาตรฐานมีข้อจำกัดในการพึ่งพา PFC และไม่สนับสนุนการกระจายแพ็กเก็ตที่เป็นตัวช่วยเพิ่มประสิทธิภาพในเครือข่ายแบบ multiplane

MetaRoCE จึงพลิกแนวคิดโดยย้ายความฉลาดไปไว้ที่ปลายทาง และย่อยสลายเครือข่ายออกเป็นเส้นทางตรรกะที่ละเอียดจำนวนมาก ซึ่งแต่ละเส้นทางมีการส่งข้อมูลทางไกล (telemetry) แบบเรียลไทม์ของตัวเอง ทั้งค่า RTT, สถานะ ECN และการใช้งานจริง สิ่งนี้เป็นการต่อยอดโดยตรงจาก งาน RoCE-at-scale ปี 2024 ของ Meta และ วิวัฒนาการโครงสร้างพื้นฐาน ที่กว้างขึ้น

6 การตัดสินใจด้านการออกแบบที่สำคัญ

1. การส่งข้อมูลแบบไม่เรียงลำดับคือค่าเริ่มต้น: แพ็กเก็ตจะถูกกระจายไปตามเส้นทางต่างๆ และอาจมาถึงแบบไม่เรียงลำดับ โดยทุกแพ็กเก็ตจะระบุปลายทางของตัวเอง ทำให้ข้อมูลถูกเขียนลงตำแหน่งหน่วยความจำสุดท้ายได้ทันทีโดยไม่ต้องมี reorder buffer ช่วยลดปัญหา head-of-line blocking
2. รองรับ Multipathing ในตัว: แต่ละเส้นทางจะใช้พอร์ต UDP ที่แตกต่างกัน ทำให้ NIC สามารถย้ายทราฟฟิกออกจากเส้นทางที่ประสิทธิภาพต่ำได้ตลอดเวลา โดยสามารถแยกแยะความแออัดออกจากความล้มเหลวของเครือข่ายได้อย่างชัดเจน
3. เน้นความทนทานต่อความสูญเสีย: MetaRoCE เลิกใช้ PFC และ pause frames โดยจะใช้บิตเวกเตอร์การตอบรับแบบเลือก (selective acknowledgment) ขนาด 256 บิต เพื่อระบุและกระตุ้นการส่งข้อมูลซ้ำเฉพาะแพ็กเก็ตที่หายไปในเส้นทางนั้นๆ เท่านั้น
4. การควบคุมความแออัดแบบสองฝั่ง: ผสานการทำงานระหว่างฝั่งส่งที่ใช้ AIMD บนพื้นฐาน ECN และฝั่งรับที่ให้คำแนะนำอัตราส่วนแบ่งแบนด์วิดท์ (fair-share rate hints) ทำให้ฝั่งส่งปรับความเร็วได้ถูกต้องรวดเร็ว และแก้ปัญหา Incast ได้ภายใน 1-2 รอบการรับส่ง
5. ความเป็นอิสระจากโทโพโลยี: ต้องการเพียงการทำเครื่องหมาย ECN และ ECMP จากสวิตช์ ซึ่งเป็นคุณสมบัติมาตรฐานอยู่แล้ว ทำให้สามารถทำงานบนระบบคลาวด์ของผู้ให้บริการรายอื่นที่ผู้ใช้ไม่ได้ควบคุมการตั้งค่าสวิตช์ได้
6. สถานะการเชื่อมต่อไม่ระเบิดตัว: ต่างจาก RDMA แบบเดิมที่ต้องเปิด queue pairs จำนวนมากเพื่อเพิ่มแบนด์วิดท์ MetaRoCE แยกเลเยอร์การเรียงลำดับสตรีมออกจากเลเยอร์การส่งข้อมูล ทำให้หนึ่งการเชื่อมต่อรองรับหลายสตรีมและหลายเส้นทางได้ภายใต้ตัวควบคุมความแออัดชุดเดียว

ตัวเลขประสิทธิภาพที่น่าสนใจ

จากการทดสอบบนโปรแกรมเมเบิล NIC ของ AMD Pensando ในคลัสเตอร์ GPU ขนาด 64 โหนด พบว่า MetaRoCE ให้ทรูพุต (throughput) สูงกว่าและใช้เวลาเสร็จสิ้นโฟลวน้อยกว่า RoCEv2 อย่างเห็นได้ชัด

ด้านความยืดหยุ่น MetaRoCE สามารถรักษาทรูพุตได้สูงถึง 86% แม้จะมีอัตราแพ็กเก็ตสูญหาย 1% และยังคงทำงานได้แม้สูญหายถึง 10% โดยจะค่อยๆ ปรับตัวแทนที่จะระบบล่ม นอกจากนี้การทดสอบในโทโพโลยีแบบ 4-plane และ 8-plane ยังยืนยันว่าทรูพุตขยายตัวเพิ่มขึ้นเป็นเส้นตรงตามจำนวน plane และสามารถกระจายทราฟฟิกใหม่ได้เองเมื่อเกิดเหตุขัดข้องโดยไม่ต้องอาศัยการตั้งค่าจากผู้ดูแลระบบ

แนวคิดแบบเปิดกว้าง (Open Design)

MetaRoCE ขยายปรัชญาจากโครงการ Ethernet Scalable Unified Network (ESUN) ของ OCP โดยส่งมอบทั้งข้อกำหนดฉบับเต็ม, ชุดทดสอบความสอดคล้อง และ libsoftmetaroce ซึ่งเป็นโมเดลพฤติกรรมอ้างอิงสำหรับการพัฒนาซิลิคอน เพื่อผลักดันให้เกิดมาตรฐานกลางที่ใช้งานได้กับฮาร์ดแวร์จากหลายผู้ผลิต

ประเด็นสำคัญ

• MetaRoCE ออกแบบมาเพื่อ Ethernet แบบ lossy โดยไม่พึ่งพา PFC
• รองรับการกระจายแพ็กเก็ตและเขียนลงหน่วยความจำโดยตรง ช่วยเพิ่มประสิทธิภาพการรับส่ง
• พิสูจน์แล้วว่ารักษาประสิทธิภาพได้ดีเยี่ยมแม้ในสภาวะเครือข่ายไม่เสถียร
• พร้อมเปิดตัวรายละเอียดทั้งหมดในงาน OCP Global Summit เดือนตุลาคมนี้