Design de rețea AI Cluster: Spine-Leaf, RoCE și NIC

Proiectarea rețelei de cluster AI este procesul de dimensionare a NIC-urilor serverului GPU, a lățimii de bandă a coloanei vertebrale, a raportului de suprasubscriere, a setărilor RoCE, a opticii și a cablajului, astfel încât traficul de antrenament distribuit să rămână previzibil pe măsură ce clusterul crește. Găsiți greșit oricare dintre acestea și rețeaua - nu GPU - devine blocaj.

De ce AI Cluster Networking este diferit

Într-un centru de date de întreprindere tradițional, rețeaua gestionează o combinație de trafic de utilizatori nord-sud, acces la stocare, virtualizare și management. Traficul de est-vest există, dar este rareori sarcina dominantă. Într-un cluster AI, situația se schimbă. Serverele GPU care rulează formarea distribuită schimbă gradienți și sincronizează parametrii în timpul fiecărei etape a lucrării. Această comunicare face parte din calcul, nu un efect secundar al acesteia.

Dacă un GPU de 30.000 USD își petrece 30% din timp așteptând în rețea în timpul tuturor operațiunilor de-reducere, clusterul plătește efectiv pentru ca 30% din capacitatea sa de calcul să rămână inactiv. Acesta este motivul economic pentru care rețelele AI primesc atât de multă atenție.

Trei caracteristici ale sarcinii de lucru conduc proiectarea:

• Trafic abundent est-vest.Operațiunile de comunicare colectivă, cum ar fi toate-reduc, toate-adună și reduc-împrăștierea produc rafale sincronizate pe mai multe noduri simultan.
• Sensibilitate-la latență.Un singur nod lent întârzie întregul pas de antrenament. Latența previzibilă contează mai mult decât latența medie.
• Redimensionați{0}}creșterea.Clusterele care încep de la 32 de GPU-uri cresc adesea la 256 sau 1.024 în decurs de 18 luni. Țesătura trebuie să se scaleze fără reproiectare.

De ce Spine-Leaf se potrivește clusterelor AI

Spine-frunza este materialul standard pentru centrele de date hiperscale, deoarece oferă fiecărui server-la-calea serverului același număr de hop și aceeași lățime de bandă teoretică. Pentru sarcinile de lucru AI, această uniformitate se traduce direct în timpi mai previzibili pentru etapele de antrenament.

Într-o topologie de frunză-coloană, serverele GPU se conectează la comutatoarele de frunză, iar fiecare frunză se conectează la fiecare coloană vertebrală. Orice comunicare GPU-la-GPU traversează exact o frunză, o coloană vertebrală și încă o frunză. Nu există straturi de agregare care să introducă latență variabilă sau puncte de sufocare.

Latență previzibilă

Rutarea cu -cost mai multe-căi (ECMP) cu costuri egale distribuie fluxurile între comutatoarele coloanei vertebrale. Când este configurat corect cu rutare adaptivă sau echilibrare dinamică a sarcinii, aceasta previne coliziunile hash care fac ca unele fluxuri să fie mult mai lente decât altele - o problemă cunoscută în fabricile ECMP statice care transportă fluxuri puține, dar mari, ceea ce este exact ceea ce generează antrenamentul AI.

Lățime de bandă de bisectare mare

Lățimea de bandă a bisecției este debitul disponibil între oricare două jumătăți egale ale clusterului. Antrenamentul AI beneficiază de proiecte ne{-blocante sau aproape-ne-neblocante în care capacitatea legăturii în sus din frunză-la-coală este egală sau aproape egală cu capacitatea legăturii în jos cu care se confruntă serverele. IETF definește și discută aceste concepte înRFC 7938, care acoperă țesăturile Clos rutate BGP-utilizate pe scară largă în-centrele de date la scară largă.

Scadere mai ușoară-out

Adăugați mai multe frunze pentru a adăuga mai multe servere. Adăugați mai mulți spini pentru a adăuga mai multă lățime de bandă de bisectare. Pentru clustere de peste câteva mii de GPU, o topologie super-coloană (Clos în 5-etape) sau optimizată pentru șine extinde același principiu cu un strat mai departe.

Componentele de bază ale unei rețele de cluster AI

Servere GPU și NIC-uri

NIC este locul în care materialul se întâlnește cu gazda. În clusterele AI, selecția NIC conduce totul în aval - viteza portului comutatorului, alegerea opticii și densitatea cablajului.

Criterii de selecție pentru sarcinile de lucru AI:

• Viteza portului:200G, 400G sau 800G per port. Se potrivește cu generația GPU și lățimea de bandă PCIe.
• generație PCIe:O NIC 400G are nevoie de PCIe Gen5 x16 pentru a evita limitarea-la gazdă. PCIe Gen4 x16 limite la ~256 Gbps utilizabil.
• Suport RDMA și RoCEv2:Necesar pentru bibliotecile de comunicații GPU-bypass de nucleu, cum ar fi NCCL.
• GPUDirect RDMA:Permite direct GPU-la-NIC DMA, eliminând copiile din memoria gazdei.
• Capacitate multi-șină:Multe servere AI folosesc 4 sau 8 NIC-uri pe nod, una per pereche GPU, pentru topologii optimizate-rail.

Un server tipic cu 8 GPU astăzi utilizează fie 4× NIC-uri 400G (unul la două GPU-uri), fie 8× NIC-uri 400G (unul per GPU), în funcție de volumul de lucru și buget. Arhitecturi de referință dinDocumentația NVIDIA Networkingacoperiți în detaliu compromisurile de proiectare.

Comutatoare pentru frunze și coloană vertebrală

Criteriile de selecție ale comutatorului pentru țesăturile AI diferă de selecția întreprinderii. Dimensiunea tamponului, comportamentul de control al congestiei și telemetria contează mai mult decât lărgimea caracteristicilor.

• Viteza pe-port și radix:Un switch ASIC de 51,2 Tbps oferă 64 × porturi 800G sau 128 × porturi 400G. Radix determină cât de plată poate fi materialul.
• Arhitectura tampon:Bufferele profunde absorb exploziile incast, dar adaugă latență. Bufferele superficiale reduc latența, dar necesită un control precis al congestiei.
• Set de caracteristici RoCE:Marcarea ECN, PFC, DCQCN sau controlul congestiei echivalent și gestionarea corectă a cozilor prioritare de la -la-termină.
• Telemetrie:Telemetrie de rețea în bandă (INT), raportare pe-adâncimea cozii și contoare cu rezoluție-microsecunde pentru marcajele ECN și pauzele PFC.

Optică, cabluri DAC și AOC

La 400G și 800G, instalația de cablare devine o adevărată problemă de inginerie. Factorii de formă, bugetele de legătură și configurațiile de tip breakout necesită o planificare timpurie.

• DAC (cupru cu atașare directă):Până la ~3 metri pentru 400G, cel mai mic cost și cea mai mică putere. Grele și voluminoase la scară.
• AOC (cablu optic activ):Până la ~30 de metri, mai subțire decât DAC, dar cu lungime fixă-și consumă energie optică la ambele capete.
• Optica conectabila:Necesar dincolo de distanța AOC. Factorii de formă QSFP-DD și OSFP domină 400G/800G. Ansamblurile de fibră MPO/MTP se ocupă de conexiunile de fibră paralelă-.

Pentru legăturile inter-rack și cablarea structurată la 400G/800G, optica paralelă peste terminațiile MPO sunt acum standard. Alegerea dintre cablurile trunchiului și ansamblurile de separare depinde de alocarea portului dvs. de comutare - consultațiGhid pentru cablu de rupere MPOpentru logica practică de selecție și mai largMPO trunchi vs comparație breakoutatunci când planificați curse de la frunză-la-coloana vertebrală.

RoCE și Ethernet Lossless în AI Fabrics

RoCEv2 (RDMA over Converged Ethernet v2) este transportul Ethernet dominant pentru sarcinile de lucru AI. Permite NIC-urilor să mute datele direct între regiunile de memorie GPU fără implicarea kernel-ului la oricare dintre capete. NCCL, biblioteca de comunicare GPU care stă la baza aproape tuturor cadrelor de instruire distribuite, utilizează RoCEv2 atunci când InfiniBand nu este disponibil.

RoCE funcționează bine atunci când este configurat corect. Eșuează urât când este configurat incorect. TheAsociația comercială InfiniBandpublică specificațiile RoCE, iar majoritatea furnizorilor de NIC și switch-uri publică ghiduri detaliate de configurare care trebuie urmate de la capăt la --sfârșit.

De ce contează comportamentul fără pierderi

RDMA a fost proiectat presupunând un transport fără pierderi. Când pachetele scad, recuperarea RDMA este costisitoare. - întoarceți-înapoi-N retransmisia poate bloca un pas de antrenament pentru milisecunde, ceea ce este enorm în raport cu bugetul RDMA la scara de microsecunde-.

Pentru a aproxima comportamentul fără pierderi pe Ethernet, materialul utilizează două mecanisme care lucrează împreună:

• PFC (Priority Flow Control, IEEE 802.1Qbb):Un comutator întrerupe traficul de intrare pe o anumită coadă de prioritate atunci când tamponul său se umple. Acesta este un mecanism de ultimă-rezolvare.
• ECN (Notificare explicită de congestie, RFC 3168):Comutatoarele marchează pachetele atunci când cozile se apropie de un prag. NIC-ul își reduce rata de trimitere înainte ca bufferele să se umple efectiv, în mod ideal evitând complet PFC.

Scopul este ca ECN să facă aproape toată gestionarea congestiei, cu PFC ca plasă de siguranță. Dacă observați pauze frecvente PFC în traficul-staționar, pragurile dvs. ECN sunt greșite sau materialul dvs. este subdimensionat.

Eșecuri comune la implementarea RoCE

Cum să proiectați o rețea de cluster AI: un cadru de lucru

Aceasta este secțiunea pe care majoritatea articolelor „Rețele AI” o opresc. Cei șapte pași de mai jos vă oferă intrări și ieșiri concrete în fiecare etapă.

Pasul 1: Definiți volumul de lucru și scalarea

Intrări:Tipul de sarcină de lucru (preinstruire, ajustare-fină, inferență, mixt), numărul de GPU-țintă astăzi, numărul de GPU-țintă în 18 luni, interval de dimensiuni ale modelului.

Ieșire:Un profil de sarcină de lucru care informează viteza NIC și toleranța la supraabonament. Preinstruirea mare a modelelor de frontieră necesită țesături 400G+ fără{1}blocare. Sarcinile de lucru-de reglare fină pot tolera supraabonamentul 2:1. Clusterele de inferență necesită adesea o lățime de bandă mai mică, dar o latență de coadă mai mică.

Pasul 2: Alegeți viteza și numărul NIC pe server

Logica deciziei:

• Preinstruire pentru modele mari, servere cu 8 GPU → 4–8× 400G NIC-uri per server sau 4× 800G
• Instruire la scară medie-, servere cu 8 GPU → 2–4× NIC-uri 400G per server
• Servire de inferență → 1–2 × NIC-uri 200G sau 400G per server, în funcție de paralelismul modelului

Verificați lățimea de bandă PCIe pe gazdă. Un singur port 400G necesită PCIe Gen5 x16 pentru a rula la viteza de linie; dublarea la 800G necesită Gen6 sau împărțirea în două sloturi.

Pasul 3: Dimensiunea stratului de frunze

Exemplu de lucru - 32-cluster de noduri, 8 GPU-uri per nod, 4× 400G NIC-uri per nod:

• Numărul total de porturi-pentru server necesare: 32 × 4=128 porturi la 400G
• Lățimea de bandă pentru legătura descendentă per nod: 4 × 400=1.6 Tbps
• Lățimea de bandă totală pentru legătura descendentă a clusterului: 32 × 1.6=51.2 Tbps

Folosind un comutator leaf 400G cu 64 de porturi (capacitate totală de 25,6 Tbps), fiecare frunză poate conecta 32 de porturi de server și poate folosi celelalte 32 de porturi ca uplink. Cu 4 frunze, acoperiți toate cele 128 de porturi de server. Fiecare frunză contribuie cu 32 × 400G=12.8 Tbps de legătură în sus către coloana vertebrală.

Pasul 4: Dimensiune stratul coloanei vertebrale

Pentru un design ne-blocant (1:1), capacitatea totală a legăturii în sus trebuie să fie egală cu capacitatea totală a legăturii în jos. De la pasul 3:

• Legătura ascendentă totală necesară: 4 frunze × 12,8 Tbps=51.2 Tbps
• Dacă fiecare coloană are 32× 400G porturi=12.8 Tbps, aveți nevoie de 4 coloane
• Fiecare frunză se conectează la toți cei 4 țepi folosind 8 legături în sus pe coloană (8 × 400G × 4=12.8 Tbps per frunză - potriviri)

Dacă utilizați comutatoare pe 64 de porturi 400G, fiecare coloană are capacitate de rezervă pentru a crește clusterul, util pentru planul de 18 luni de la Pasul 1.

Pasul 5: Setați raportul de supraabonament

Pasul 6: Separați calculul, stocarea și gestionarea traficului

Trei variante, în ordinea creșterii izolării:

• Material partajat cu clase QoS:Calculați, stocați și gestionați pe priorități DSCP separate. Cel mai mic cost; necesită o configurare atentă a QoS.
• VLAN-uri/VRF separate logic:Același hardware, planuri de control separate. Util pentru clustere cu mai multe-locatari.
• Țesături separate fizic:NIC-uri, comutatoare și cablare dedicate pentru calcul vs. stocare. Cel mai mare cost; frecvente în clusterele de model de frontieră-în care orice contestație este inacceptabilă.

Traficul de stocare pentru AI este el însuși greu. - scrierile punctului de control pentru un model mare pot muta sute de gigaocteți în rafale scurte. Planifică-l în mod explicit. O instalație de cablare structurată de-înaltă densitate care utilizeazăCabluri trunchi MPO/MTPsimplifică rularea țesăturilor paralele în aceeași infrastructură fizică.

Pasul 7: Validați înainte de producție

Testele{0}}la nivel de rețea detectează unele probleme. Testele-la nivel de sarcină de muncă prind restul.

• Lățime de bandă:iperf3 sau ib_send_bw între fiecare pereche de noduri; ar trebui să atingă 90%+ din rata liniei NIC.
• Latență:ib_read_lat sau similar; verifica distributia, nu doar media. P99.9 contează mai mult decât rău.
• Pierdere pachet:Efectuați un test de înmuiere de 24-ore sub sarcină; orice pierdere diferită de zero în clasa de trafic RoCE este o problemă.
• Comportamentul marcajului ECN:Verificați ca semnele să apară înainte de declanșarea PFC; dacă pauzele PFC sunt frecvente în stare de echilibru, reacordați.
• Comunicarea colectivă:Rulați teste NCCL (all_reduce_perf, all_gather_perf) la dimensiunea completă a clusterului. Comparați cu numerele de referință ale furnizorului.
• Test la nivel{0}}de locuri de muncă:Rulați un job reprezentativ de formare timp de 4-6 ore. Urmăriți utilizarea GPU-ului - valori susținute sub 50% pe un model dimensionat corect-indică de obicei o problemă de rețea.

Rețeaua tradițională de centre de date vs AI Spine-Leaf Fabric

Ethernet RoCE vs InfiniBand: Ghid de decizie rapidă

Întrebarea apare în aproape fiecare proiect de cluster AI. Ambele lucrează. Alegerea se reduce de obicei la potrivirea operațională, nu la performanță pură.

• Alegeți InfiniBand dacă:Echipa dvs. operează deja țesături InfiniBand, doriți cea mai simplă cale către transport fără pierderi sau cumpărați o arhitectură de referință pentru furnizori complet-integrată.
• Alegeți Ethernet RoCE dacă:Echipa dvs. de operațiuni este nativă Ethernet-, doriți opțiuni de comutare cu mai multe-furnizori, trebuie să integrați structura AI cu rețelele existente de centre de date sau anticipați o scalare dincolo de ceea ce topologiile actuale InfiniBand acceptă în mod curat.

Consorțiul Ultra Ethernet, înființat în 2023, lucrează activ la standardizarea îmbunătățirilor Ethernet, în special pentru sarcinile de lucru AI. Pentru majoritatea clusterelor noi din 2026, Ethernet RoCE este o valoare implicită defensabilă, cu excepția cazului în care există un motiv specific pentru a alege altfel.

Greșeli frecvente de evitat

Actualizarea comutatoarelor fără verificarea NIC-urilor

O țesătură de comutare 800G nu face nimic pentru dvs. dacă NIC-urile rulează la 400G sau dacă PCIe-ul gazdă rămâne fără lățime de bandă. Proiectați mai întâi partea gazdă, apoi partea comutatorului. PCIe Gen5 x16 limitează un singur port la aproximativ 504 Gbps-debitul real - confortabil pentru 400G, marginal pentru 800G.

Optimizarea vitezei portului, dar ignorarea densității cablurilor

La 64-portul 400G părăsește, cablarea de sub fiecare comutator poate deveni fizic imposibil de gestionat fără planificare. Utilizați cabluri de separare acolo unde este cazul, direcționați fibrele prin căi structurate și standardizați tipurile de conector. Calitatea conectorului și terminarea contează la viteze mari - noastreGhid de tipuri de conectori de fibră opticăacoperă compromisurile dintre LC, MPO și factorii de formă emergenti de mare{0}}densitate.

Tratarea RoCE ca Plug-and-Play

Cea mai mare greșeală de proiectare în clusterele AI reale este să nu alegeți comutatorul greșit -, ci este subestimarea cât de multă muncă de configurare RoCE de la capăt-la-termină este necesară. Timp bugetar pentru reglarea pragurilor ECN, priorităților PFC și consistenței MTU. Planificați o fază de validare dedicată înainte de rularea oricărei sarcini de producție.

Amestecarea întregului trafic pe o singură fabrică fără QoS

Replicarea stocării, agenții de monitorizare și traficul de gestionare pot distruge timpii pașilor de antrenament dacă partajează bufferele cu traficul de calcul. Fie le separați fizic, fie impuneți clase QoS stricte cu priorități separate și configurație ECN.

Clădire numai pentru clusterul de astăzi

Majoritatea clusterelor AI cresc de 4-8 ori în doi ani de la implementarea inițială. Alegeți capacitatea de bază și de coloană a comutatorului care permite o expansiune ne-disruptivă. Tragerea cablurilor într-un centru de date AI live este costisitoare; conducta de planificare și capacitatea de corecție la momentul implementării este ieftină.

Când să treci de la 400G la 800G

NIC-urile și switch-urile 800G sunt disponibile, dar mai scumpe pe port. Luați în considerare intensificarea când:

• Necesarul de lățime de bandă per-GPU depășește ceea ce poate oferi 400G -, de exemplu, GPU-urile H100 și mai noi cu NVLink 5 se așteaptă la o lățime de bandă externă mai mare
• NCCL toate-reduc timpii scalați slab cu dimensiunea clusterului, indicând saturația rețelei
• Densitatea cablurilor la 400G devine din ce în ce mai greu de gestionat din punct de vedere fizic - mai puține porturi 800G pot înlocui mai multe porturi 400G
• Următoarea generație de GPU din foaia de parcurs este de așteptat să aibă nevoie de aceasta în fereastra de amortizare a clusterului
• Construiți un cluster de antrenament-model de frontieră în care orice timp inactiv de calcul costă mult mai mult decât upgrade-ul opticii

Pentru majoritatea clusterelor de producție din 2026, 400G rămâne echilibrul corect între cost, maturitatea ecosistemului și capacitatea. 800G are sens la sfârșitul superior și ca investiție anticipată pentru clusterele care se construiesc astăzi și se preconizează că vor funcționa timp de 4-5 ani.

Concluzie

Cea mai puternică rețea de cluster AI nu este cea cu cele mai rapide comutatoare. Este cel în care alegerea NIC, dimensiunea frunzei/coloanei, supraabonamentul, configurația RoCE, separarea traficului și cablarea fizică se susțin reciproc și volumul de lucru pentru care au fost aleși.

Începeți de la volumul de muncă și de la planul de creștere pe 18-luni. Calculați nevoile de lățime de bandă la fiecare strat folosind numere reale, nu doar reguli generale. Configurați RoCE end-to-end și validați cu repere reale de comunicare colectivă. Buget pentru instalația de cablare - la 400G și 800G, stratul fizic nu mai este banal.

Clusterul care își menține GPU-urile ocupate la o utilizare de peste 95% prin fiecare pas de antrenament este cel care a acordat atenție tuturor acestor straturi. Clusterul care este livrat cu un comutator mai rapid și o țesătură mai lentă va petrece ani de zile explicând de ce GPU-urile sunt inactive.

Lectură suplimentară

• RFC 7938 - BGP în centre de date-la scară largă
• Specificațiile RoCE ale Asociației Comerciale InfiniBand -
• Documentația de rețea NVIDIA
• Ghid de instalare a cablului de fibră optică
• Pierderea de inserție vs pierderea de întoarcere explicată