Ghid de proiectare a rețelei de cluster AI: RoCEv2, Ethernet fără pierderi și țesătură GPU 400G/800G

Jul 07, 2026

Lăsaţi un mesaj

Într-un cluster GPU, rețeaua nu este un strat suport -, ci decide dacă acceleratoarele scumpe calculează sau stau inactiv în așteptarea datelor. Rețelele de cluster AI modelează direct viteza de antrenament, utilizarea GPU-ului și timpul de finalizare a lucrărilor și se comportă foarte diferit față de o rețea de centre de date cu scop general-. Acest ghid acoperă modul de proiectare a unei fabrici fără pierderi pentru sarcinile de lucru GPU: topologie, configurație RoCEv2, optică și cablare 400G/800G și validarea care separă o fabrică care trece un test de lățime de bandă de una care termină efectiv lucrările de instruire la timp.

Proiectarea rețelei AI Cluster

O țesătură de cluster AI bine-construită separă traficul front-end și backend, utilizează o topologie de coloană fără-blocare sau de-suprasubscriere-scăzută-pentru backend, rulează RoCEv2 cu PFC, ECN și DCQCN reglate astfel încât ECN să acționeze înainte de PFC, răspândește fluxuri mari cu o congestie implicită de încărcare{{5}MPEC singur, standardizează astăzi pe 400G cu o cale clară către 800G și este validat cu telemetrie corelată cu AI-ca traficul colectiv - nu doar cu teste simple de debit.

Proiectarea rețelei AI Cluster dintr-o privire

Decizie Implicit recomandat
Domenii de trafic Separați țesături frontale și backend
Topologie backend Leaf-coloana vertebrală, fără-blocare sau supraabonament redus
Transport RoCEv2 cu PFC + ECN + DCQCN
Echilibrarea sarcinii Conștient-congestionarea/dinamic, nu numai ECMP implicit
Viteza portului 400G acum, cu o migrare planificată de 800G
Validare Telemetrie plus trafic colectiv (NCCL), nu numai iperf

AI cluster network fabric connecting GPU servers with leaf-spine switches

Ce este AI Cluster Networking?

Rețeaua de cluster AI este structura-de înaltă performanță care conectează serverele GPU, stocarea, nodurile de gestionare și, uneori, mai multe domenii ale centrelor de date pentru instruire sau inferență. Un singur cluster transportă mai multe tipuri de trafic - GPU-la-comunicare GPU, RDMA între servere, stocare de citire și scriere, asimilare de seturi de date, punct de control, înregistrare și orchestrare -, dar partea cea mai sensibilă-performanței este structura de antrenament backend care transportă GPU-în timpul antrenamentului-GPU. Când acea țesătură este lentă sau imprevizibilă, GPU-urile așteaptă în loc să calculeze.

De aceea, o țesătură AI este judecată diferit de o rețea normală de centre de date. Lățimea de bandă brută contează, dar la fel contează consistența latenței, comportamentul congestiei, pierderea pachetelor, profunzimea telemetriei, topologia și chiar consumul de energie optică.

De ce sarcinile de lucru AI stresează rețeaua în mod diferit

Antrenamentul distribuit se sincronizează constant

Modelele mari se antrenează pe multe GPU-uri care schimbă gradienți și activări în faze coordonate - modele colective, cum ar fi Toate-Reducere și Toate-la-Toate. Consecința este clară: calea cea mai lentă poate întârzia un întreg pas de antrenament. Chiar dacă 99% dintre legături sunt sănătoase, o legătură aglomerată din raft-la-coloana vertebrală poate transforma un GPU într-un rătăcitor pe care toți ceilalți îl așteaptă.

Latența de coadă irosește GPU-urile, nu latența medie

Latența medie este o valoare greșită aici. Deoarece un pas de sincronizare așteaptă sosirea ultimului GPU, o mână de pachete întârziate pot împiedica întreaga lucrare. Pe un cluster cu 256 GPU, o singură legătură de coloană fierbinte care adaugă latență de coadă la o șină poate reduce utilizarea în întreaga lucrare.

Traficul AI este format din fluxuri de elefanți

Rețelele tradiționale jonglează cu multe fluxuri mici; Clusterele AI generează câteva fluxuri mari de-GPU-la-GPU. Hashingul ECMP prestabilit distribuie fluxurile, nu octeții, așa că atunci când mai multe fluxuri elefanți se împart pe același rack-la-coală, legătura respectivă devine fierbinte în timp ce legăturile paralele rămân inactive - producând acumularea de cozi, vârfuri de latență și, în cele din urmă, scăderea. Viteza mai mare a portului nu rezolvă acest lucru de la sine: o legătură de 400G încă congestionează dacă elefantul curge hash prost pe el.

Pierderea pachetelor este deosebit de costisitoare

TCP obișnuit tolerează pierderea; RDMA bazat pe RoCEv2-nu. Se așteaptă ca materialul să se comporte ca pierderi-scăzute sau fără pierderi, iar scăderile în timpul congestiei pot reduce performanța RDMA. Acesta este motivul pentru care o țesătură RoCEv2 necesită o inginerie deliberată fără pierderi, mai degrabă decât o redirecționare cu cel mai bun efort.

Cerințe de bază pentru o rețea de cluster AI

O țesătură backend bună trebuie să îndeplinească mai multe cerințe simultan: lățime de bandă de bisectare mare, astfel încât multe GPU-uri pot vorbi simultan fără ca materialul să devină blocaj; scăzutși previzibillatența, deoarece vârfurile ocazionale de congestie sunt la fel de dăunătoare ca și latența medie mare; transport fără pierderi sau aproape{0}}fără pierderi pentru RoCEv2; o topologie care se scalează fără să se așeze pe hop și cabluri; și vizibilitate operațională profundă. În acest ultim punct -, fără telemetrie, echipele diagnosticează greșit o problemă de congestie a rețelei ca o problemă de GPU sau de calcul și ard zile urmărind stratul greșit.

Arhitectura de rețea AI Cluster: Fabrica Frontend vs Backend

Cea mai importantă decizie timpurie este dacă să se separe rețeaua frontend de structura de antrenament backend. Interfața asigură accesul utilizatorilor, gestionarea, orchestrarea, monitorizarea, înregistrarea în jurnal, accesul la stocare, asimilarea setului de date și transferurile punctelor de control - poate arăta mult ca o rețea convențională de centre de date, deși stocarea și punctele de control necesită încă un debit real. Backend-ul este dedicat traficului de antrenament GPU-la-GPU și este optimizat pentru RDMA, latență scăzută, transport fără pierderi și lățime de bandă previzibilă.

Această separare nu este teoretică. Lucrarea publicată de Meta peRețele RoCE pentru instruirea AI distribuită la scarădescrie exact această împărțire: o rețea de front-end pentru activități precum asimilarea de date, puncte de control și înregistrarea în jurnal și o țesătură RoCEv2 backend dedicată care conectează NIC-urile RDMA într-o arhitectură ne-blocante pentru comunicarea GPU. LorLucrarea SIGCOMM 2024 despre RDMA prin Ethernet la scară Metaîncadrează aceeași idee ca principiu de proiectare: înțelegeți mai întâi volumul de lucru, apoi separați antrenamentul GPU în propria sa rețea de backend, astfel încât să poată evolua și scala independent.

De ce se merită: separarea domeniilor îmbunătățește predictibilitatea performanței, claritatea depanării, izolarea și reglarea-controlului congestiei. Dacă stocarea, managementul și antrenamentul au în comun o singură testură fără QoS atent, o scriere grea a punctului de control poate bloca comunicarea de antrenament în cel mai rău moment posibil. În designul lui Meta, comutatoarele cu frunze conectează GPU-urile într-un rack peste DAC de cupru, în timp ce legăturile rack-la-coloane vertebrale rulează pe fibră cu un singur-mod cu transceiver 400G - un model care se mapează curat pe structuraCablajul trunchiului MPO/MTPîntre treptele frunzelor și ale coloanei vertebrale.

Frontend and backend network separation in an AI cluster

RoCEv2 și Ethernet Lossless: Cum funcționează împreună

RDMA (Acces direct la memorie la distanță) permite unui sistem să citească sau să scrie memoria altui sistem cu o implicare minimă a procesorului, ceea ce face posibil transferul GPU-la-pentru GPU cu o latență scăzută și-debit mare. RoCEv2 transportă acel trafic RDMA prin Ethernet prin încapsularea lui în UDP/IP, astfel încât să puteți construi structura pe comutarea standard Ethernet.

Atractia este lărgimea ecosistemului. Ethernet are o bază uriașă de furnizori, operațiuni mature și o evoluție rapidă în siliciu, optică și instrumente de comutare. TheConsorțiul Ultra Ethernetface ca acesta să fie argumentul central: o stivă Ethernet deschisă, interoperabilă, cu mai mulți furnizori, acum oficializat în specificația sa 1.0, concepută-pentru a scala rețelele AI și HPC fără blocarea furnizorului-. NVIDIA a împins aceeași direcție din partea produsului -Platformă Spectrum-X Etherneteste poziționat ca Ethernet conceput special pentru IA, adăugând transport fără pierderi, rutare adaptivă și telemetrie în-rețea la Ethernet standard.

 

RoCEv2 lossless Ethernet flow with PFC, ECN, and DCQCN

Țesătura fără pierderi RoCEv2, componentă cu componentă

„Fără pierderi” nu este un singur comutator, este un teanc de mecanisme de cooperare. Tabelul de mai jos este nivelul de detaliu de care are nevoie un design.

Componentă Rol De ce contează
Clasificarea traficului (DSCP/PCP) Plasează RDMA în clasa fără pierderi Marcarea greșită trimite RDMA într-o coadă cu pierderi
PFC Întreruperea-la nivel de link pentru a preveni pierderile O plasă de siguranță; utilizarea greșită provoacă furtuni de pauză și blocare-de-linie
ECN Marchează pachetele înainte ca cozile să se depășească Trebuie să se declanșeze înainte de PFC pentru a fi util
DCQCN Controlul ratei NIC condus de feedback-ul ECN/CNP Reduce frecvența cu care PFC trebuie să declanșeze
Echilibrare dinamică / adaptivă a sarcinii Răspândește fluxuri de elefanți peste poteci Hashingul ECMP implicit lasă linkurile fierbinți și inactiv
Telemetrie Expune picături, marcaje ECN, pauze PFC, adâncimea cozii Singura modalitate de a corela sănătatea țesăturilor cu sănătatea locului de muncă

Acestea trebuie să fie reglate împreună. Relația critică este aceea că pragul ECN trebuie să steade mai jospragul PFC de intrare, astfel încât expeditorii încetinesc înainte ca cadrele de pauză să fie vreodată necesare. Ienupăruluidocumentația DCQCNdescrie acest act de echilibrare cu precizie: lăsați ECN să controleze fluxul reducând rapid viteza de transmisie, astfel încât PFC - care oprește complet fluxul - este minimizat. Configurați ECN prea mare, iar PFC se declanșează mai întâi și des; configurați PFC prea agresiv și obțineți furtuni de pauză.

Ce înseamnă asta în practică: contoarele PFC nu sunt o măsură de succes. Dacă cadrele de pauză PFC urcă constant în timpul curselor normale de antrenament, materialul nu este sănătos -, supraviețuiește congestiei prin întreruperea traficului. O țesătură cu adevărat sănătoasă arată că ECN își face treaba și PFC rareori captivant.

Provocări comune de rețea a clusterelor AI și cum să le rezolvi

Provocarea 1: Latența cozii și abateri

Problemă:în antrenamentul sincronizat, o cale lentă întârzie întreaga lucrare.Do:menține backend-ul scăzut-hop; evitați supraabonamentul inutil; monitorizați latența cozii, nu mediile; utilizați echilibrarea sarcinii-congestionate; validați cu modele colective de trafic, mai degrabă decât cu teste punct{2}}la-.În practică:o sarcină a cărei utilizare a GPU-ului face dinți de ferăstrău fiecare interval de sincronizare atinge de obicei o cale mai rătăcită, nu o limită de calcul.

Provocarea 2: coliziuni cu congestie și-fluxul de elefanți

Problemă:câteva fluxuri mari aterizează pe aceeași legătură și creează un hotspot.Do:nu vă bazați pe ECMP implicit pentru o țesătură AI mare; permite echilibrarea dinamică/adaptativă a sarcinii; urmăriți utilizarea coloanei vertebrale pe-link și adâncimea cozii; lăsați ECN și DCQCN să accelereze expeditorii înainte ca congestia să persistă.În practică:Utilizarea neuniformă a legăturii coloanei vertebrale-cu orice altceva nominal este semnătura unui flux hashing slab, nu o lățime de bandă insuficientă.

Provocarea 3: Scalare de la 400G la 800G

Problemă:pe măsură ce numărul de GPU crește, conexiunile cu viteză mai mică-forțează mai multe comutatoare, niveluri, optice și cablare.Do:calculați lățimea de bandă necesară per GPU și per rack (un server de 8-GPU cu o NIC de 400G per GPU este un material foarte diferit de un design de 200G); decideți ne-blocarea față de abonamentul ușor excesiv; luați în considerare radixul comutatorului, viteza portului și adâncimea topologiei împreună; planificați calea de la 400G la 800G înainte de a fi forțat să intrați în ea; păstrați optica, cablurile și puterea în design încă din prima zi.

Provocarea 4: Selectarea puterii, răcirii și opticii

Problemă:Țesăturile AI consumă putere serioasă, în special la viteze mari ale portului și la densitate optică.Do:utilizați DAC pentru scurte-link-uri în rack acolo unde este practic; utilizați AOC sau transceiver-uri optice pentru rulări mai lungi de la raft-la-coloana vertebrală; comparați puterea între opțiunile optice; validați limitele termice la porturile de-densitate mare; proiectați cablarea și fluxul de aer împreună. Alegând întretransceiver{0}}monomod și multimodeste în mare parte o decizie de acoperire-versus-de cost și ar trebui luată pentru fiecare clasă de linkuri, nu o singură dată pentru întregul cluster.

Puterea optică este acum o constrângere-de proiectare de primă ordine, nu o notă de subsol. Lucrările NVIDIA continuățesături AI eficiente-energetice cu Spectrum-X Ethernet Photonicsilustrează direct tendința: fotonica de siliciu co-ambalată este utilizată pentru a reduce puterea pe-port și pentru a reduce flaps-urile de legătură în comparație cu optica conectabilă tradițională, tocmai pentru că transceiverele sunt atât printre componentele cu cea mai mare-putere, cât și cu cea mai mare-rată de eșec- dintr-un cluster mare.

Provocarea 5: Vizibilitatea și depanarea punctelor moarte

Problemă:fără telemetrie, o problemă de rețea arată ca o problemă de calcul.Do:monitorizați căderile de pachete, marcajele ECN, cadrele de pauză PFC, ocuparea cozii, erorile de legătură, utilizarea portului, distribuția fluxului, contoarele de congestie NIC, utilizarea GPU și timpul de finalizare a lucrării - apoi corelați valorile fabricii cu valorile jobului AI. Un comutator cu aspect silențios-nu garantează un antrenament sănătos, iar un GPU ocupat nu garantează un progres util.

RoCEv2 vs InfiniBand pentru AI Cluster Networking

Atât RoCEv2/Ethernet, cât și InfiniBand rulează clustere AI și HPC reale; alegerea depinde de scară, abilitățile echipei, ecosistem, modelul de cost și obiectivele operaționale. Tabelul de mai jos este o comparație editorială, nu o clasare absolută - răspunsul corect este specificul sarcinii de lucru- și al organizației-.

Factor RoCEv2 / Ethernet InfiniBand
Ecosistem Operațiuni largi, cu mai mulți furnizori, familiare Moștenire HPC puternică, stack matur de{0}}înaltă performanță
Operațiuni Refolosește abilitățile Ethernet, dar necesită o reglare atentă fără pierderi Mai specializate, concepute special-pentru HPC strâns cuplat
Flexibilitatea aprovizionării În general, mai multă alegere pentru furnizor Adesea o stivă mai integrată
Performanţă Puternic atunci când este proiectat și reglat corespunzător Cunoscut pentru latența scăzută în clustere strâns cuplate
Scalare Necesita topologie deliberată, control congestie, telemetrie Opțiuni puternice pentru țesături mari în stil HPC-
Cel mai potrivit Echipe care doresc flexibilitate Ethernet și un design RoCEv2 pregătit pentru AI{0}} Echipele care prioritizează HPC integrat, strâns cuplat dovedit

Adevărata întrebare nu este ce tehnologie câștigă în abstract. Este dacă materialul ales poate oferi lățime de bandă previzibilă, latență scăzută, pierderi reduse și vizibilitate operațională la scara GPU-ului țintă.

Scară GPU vs Design de rețea

Un cluster de laborator de 64-GPU și un cluster de producție cu mai multe-mii de GPU nu sunt același proiect cu un număr diferit de porturi. Scala modifică designul.

Scara clusterului Design tipic Focalizare primară
Până la ~64 de GPU (laborator/pilot) Coloane cu un singur-nivel sau cu două-coaluri cu două-niveluri, adesea un singur domeniu Configurație corectă RoCEv2, cablare curată, telemetrie de bază
~128–512 GPU-uri Ne-blocator pe două-coaluri-coale, separare frontend/backend Țintă de supraabonament, echilibrare dinamică a sarcinii, reglare ECN/PFC
~1.000–4,000+ GPU-uri (producție) Backend cu mai multe-niveluri sau ferate-optimizat, la scară-centrului-de date Programare-conștientă de topologie, 400G/800G, putere și densitate optică

Cadrul de proiectare a rețelei Cluster AI pas -cu-

Pasul 1: Definiți volumul de lucru și scala GPU

Începeți cu volumul de muncă, nu cu modelul de comutare. Clarificați numărul de GPU acum și ciclul următor, indiferent dacă munca este antrenament,-ajustare fină, inferență sau mixtă, modelele colective așteptate, dimensiunea punctului de control, volumul de trafic de stocare și dacă clusterul este un singur- sau multi-chiriaș.

Pasul 2: Separați domeniile de trafic

Decideți ce aparține front-end față de backend: management, stocare și punct de control, instruire/RDMA și monitorizare a traficului. Pentru implementări mici, separarea logică cu VLAN-uri și QoS poate fi suficientă; pentru clustere mai mari, separarea fizică între frontend și backend este de obicei mai ușor de operat și de motivat.

Pasul 3: alegeți topologia și ținta de supraabonament

Leaf-coloana este valoarea prestabilită pentru fabricile scalabile AI Ethernet. Decideți unul, două sau mai multe niveluri; ne-blocare versus supraabonare; GPU-uri per rack; NIC-uri pe server; viteza și numărul uplink-ului; capacitatea coloanei vertebrale; și dimensiunea domeniului de eșec. Pentru traficul de antrenament de backend, o supraabonare mai mică cumpără predictibilitate - și, dacă vă abonați în exces, faceți din acesta un raport intenționat bazat pe comportamentul măsurat al sarcinii de lucru, nu pe un accident al numărării porturilor.

Pasul 4: Selectați viteza comutatorului și densitatea portului

Alegeți platforme de comutare pe lățimea de bandă, topologia și creșterea necesare - evaluând 400G față de 800G, radix, capacitatea totală, arhitectura tampon, suport RoCEv2/PFC/ECN/DCQCN, telemetrie, putere per port și NOS/automatizare. Nu evaluați singur viteza: o comutare rapidă fără controlul corect al congestiei, tamponarea și telemetria va crea în continuare probleme în traficul AI.

Pasul 5: Planificați NIC-uri, optică, DAC/AOC și cablare

Țesătura este mai mult decât întrerupătoare. Planificați viteza NIC pe GPU, tipul NIC-la-de comutare, DAC pentru legături scurte de cupru, AOC și module optice pentru rulări mai lungi, optică cu un singur-mod pentru distanță și instalația de fibre, aspectul patch-urilor, etichetarea și accesul la service. Obținerea corectă a factorului de formă conectabil contează aici - aPrezentare generală a factorului QSFP-DD și OSFP-merită aruncat o privire înainte de a efectua porturi switch și NIC la 400G/800G. Pe partea de cablare, spargerea unui port de-densitate mare de comutare în legături pe-server înseamnă de obiceiCablare de întrerupere MPO-la{-LC, iar calitatea fibrei ar trebui să fie adaptată la distanța - de la practicălimitele de atingere a fibrei multimodale (OM1–OM5)decideți unde funcționează în continuare multimodul și unde este necesar{0}}modul unic. Designul slab al cablajului poate face ca o topologie corectă din punct de vedere tehnic să fie mizerabilă de operat.

Clasa de linkuri Distanța tipică Alegere comună
În-rack GPU-la-frunză Sub ~3 m DAC (cupru)
Raft-adiacent ~3–7 m AOC sau DAC
Frunză-la-coartă într-o sală Zeci de metri până la ~100 m Multimod (OM4/OM5) + optică SR sau un singur-mod
Pe holuri/la scară DC- ~100 m până la 2 km Transceiver-mod unic+ 400G/800G

Pasul 6: Configurați transportul fără pierderi și controlul congestiei

Aceasta este partea cea mai sensibilă a implementării. Clasificați corect traficul RoCEv2 și mapați-l la prioritatea potrivită; activați PFC pe această prioritate; setați praguri ECN sub pragul PFC; confirmați că NIC-urile implementează răspunsul DCQCN intenționat; ține traficul neconexat în afara clasei fără pierderi; și testați în mod explicit pentru furtunile de pauză și blocarea-de-linie. Tratați PFC ca pe un mecanism de siguranță, nu ca pe modul de zi cu zi în care gestionați o rețea aglomerată.

Pasul 7: validați cu telemetrie și trafic de testare de tip AI-

Înainte de a rula lucrările de producție, validați lățimea de bandă{0}}la-de la capăt la capăt, distribuția latenței, latența finală, căderile de pachete, comportamentul de marcare ECN, frecvența de pauză PFC, recuperarea erorilor-legăturii, distribuția fluxului și performanța sarcinii GPU sub încărcare. Debitul iperf simplu nu este suficient - verificați marcarea ECN, pauza PFC, adâncimea cozii și NCCL-reduc performanțaîmpreună, deoarece o țesătură care trece teste punct-la-punct se poate sufoca în continuare cu comunicarea colectivă sincronizată.

Întrebări frecvente: AI Cluster Networking

Î: Poate RoCEv2 să înlocuiască cu adevărat InfiniBand pentru antrenamentul AI?

R: Pentru multe clustere, da - atunci când structura Ethernet este proiectată și reglată corespunzător. Operatorii mari desfășoară cursuri de formare de producție pe backend-uri RoCEv2, iar atât Consorțiul Ultra Ethernet, cât și platformele furnizorilor precum NVIDIA Spectrum-X împing Ethernet în mod specific către performanța la scară AI-. Avertismentul este că RoCEv2 necesită o inginerie deliberată fără pierderi; nu „funcționează” din cutie așa cum ar putea face o țesătură HPC-construită special.

Î: Când am nevoie de fapt de 800G în loc de 400G?

R: Atunci când cererea de lățime de bandă per-GPU și per-rack depășește ceea ce pot transporta conexiunile 400G fără a adăuga niveluri, cabluri și optice. Declanșatorii obișnuiți sunt serverele dense, cu o-NIC de mare viteză per GPU și clustere mai mari în care, altfel, s-ar strecura supraabonamentul. Planificați calea de migrare din timp, astfel încât 800G să fie un pas, nu o reproiectare.

Î: Ce se întâmplă dacă PFC este configurat greșit?

R: Configurația defectuoasă a PFC poate cauza furtuni de pauză, blocare-de-linie și răspândirea congestiei, unde întreruperea unei legături asigură o copie de rezervă a traficului în cadrul fabricii. Acesta este motivul pentru care ECN ar trebui să transporte cea mai mare parte a semnalizării congestiei, iar PFC ar trebui să se angajeze rar; Creșterea contoarelor PFC în timpul rulărilor normale este un semn de avertizare, nu un indicator de succes.

Î: O rețea de cluster AI trebuie să fie izolată fizic?

R: Nu întotdeauna, dar clusterele mai mari beneficiază de obicei de separarea fizică a structurii de antrenament backend de frontend. Implementările mai mici pot utiliza adesea separarea logică cu VLAN-uri și QoS, cu condiția ca stocarea și exploziile punctelor de control să fie păstrate în afara clasei de instruire fără pierderi.

Î: Cum aleg între DAC, AOC și transceiver-uri optice?

R: După distanță și putere. DAC se potrivește scurt în-legături de cupru în rack; AOC acoperă curse puțin mai lungi, flexibile; și emițătoare-receptoare optice cu mâner cu fibră multimod sau unic-mod-la-coloana vertebrală și distanțe transversale-hol. Potriviți gradul de fibre pentru a atinge și cântăriți puterea optică, deoarece transceiver-urile reprezintă o pondere majoră atât a puterii fabricii, cât și a ratei de eșec.

Î: Clusterele GPU mici au nevoie de o țesătură completă fără pierderi?

R: Au nevoie în continuare de clasificarea corectă a configurației RoCEv2 -, PFC pe prioritatea corectă și ECN sub PFC -, dar un cluster unic-domeniu mic poate sări peste topologia cu mai multe-niveluri și planificarea excesivă a abonamentului de care necesită fabricile mari. Comportamentul fără pierderi nu este opțional; complexitatea scale-out este.

Concluzie și pasul următor

Rețelele de cluster AI decide dacă GPU-urile funcționează ca un sistem coordonat sau inactiv în așteptarea datelor. Un design puternic combină lățimea de bandă mare, latența previzibilă, transportul RoCEv2 fără pierderi, o topologie scalabilă-coloanei vertebrale, optica și cablarea potrivite și telemetria suficient de profundă pentru a corela sănătatea țesăturii cu sănătatea locului de muncă. Clusterele mici conduc cu topologie curată și configurație RoCEv2 corectă; clusterele mari trebuie să abordeze, de asemenea, separarea frontend/backend, echilibrarea sarcinii-congestionate, migrarea 400G/800G, densitatea puterii și operațiunile bazate pe-telemetrie.

Cel mai bun pas următor este să vă remediați mai întâi intrările: scara GPU, modelul de încărcare de lucru, designul rack-ului și domeniile de trafic. Apoi selectați comutatoarele, NIC-urile, optica și configurația Ethernet fără pierderi pentru a se potrivi. Dacă urmăriți în paralel partea optică și structurată-cablajului unei structuri GPU,soluții de fibră și cablare pentru centre de datevă poate ajuta să potriviți opțiunile de trunchi, breakout și transceiver cu topologia și distanța de legătură. În infrastructura AI, rețeaua potrivită nu este doar mai rapidă -, ci este mai previzibilă, mai observabilă și mai ușor de scalat.

 

Trimite anchetă