NIC 400G vs 800G: pe care ar trebui să alegi?

Alegerea între o NIC de 400G și una NIC de 800G este o decizie de fabrică, nu o comparație-pagina de finalizare. Adaptorul mai rapid dă roade numai atunci când serverul, comutatorul, optica și cablarea pot duce acea viteză de la capăt la capăt. Acest ghid analizează schimbul-din punct de vedere al implementării și al achiziției, astfel încât să puteți decide înainte de a aloca un buget pentru adaptoare, comutatoare, transceiver-uri, DAC-uri, AOC, AEC-uri sau fibră.

Versiunea scurtă: o NIC 400G este implicit matură,-economică pentru majoritatea încărcărilor de lucru AI, HPC, stocare și cloud de astăzi și se mapează clar pe gazdele NDR InfiniBand și PCIe Gen5. O NIC 800G își câștigă premiul atunci când construiți o țesătură AI de-generația următoare cu GPU-uri mai dense, trafic mai intens de est-vest și o foaie de parcurs către XDR InfiniBand, Ethernet 800G și, în cele din urmă, 1.6T.

NIC 400G vs 800G

Alegeți o NIC 400G atunci când serverele, switch-urile și instalația optică sunt deja standardizate pe 400G Ethernet sau NDR InfiniBand sau când volumul de lucru nu saturează fiecare cale GPU-la-GPU. Este, de asemenea, apelul mai sigur atunci când disponibilitatea, bugetul și timpul de calificare contează mai mult decât viteza maximă a portului.

Alegeți o NIC 800G atunci când rețeaua devine obstacol pentru antrenamentul pe scară largă-, servere GPU de înaltă-densitate sau acceleratoare de-generația următoare. Reduce la jumătate numărul de legături și module optice necesare pentru o anumită lățime de bandă și pregătește materialul pentru următoarea actualizare.

Un port 800G merită cumpărat doar atunci când restul sistemului îl poate alimenta. Dacă gazda nu poate expune suficiente benzi PCIe la adaptor, un NIC 800G devine un port scump, subutilizat, mai degrabă decât un upgrade de performanță.

Ce este un NIC 400G?

Un NIC 400G este un adaptor de rețea care se mișcă până la 400 de gigabiți pe secundă pe port. În mediile AI și HPC, se ocupă de rețele de cluster GPU-, instruire distribuită, acces la stocare, trafic MPI, fabrici RoCE și legături NDR InfiniBand. Pentru majoritatea operatorilor, 400G este deja un salt mare de la 100G sau 200G și elimină blocajele evidente fără a forța o reproiectare a serverului și a comuta nivelurilor.

Unde se potrivesc NIC-urile 400G astăzi

Adaptoarele 400G sunt implicite de lucru în clusterele de antrenament AI pe GPU-uri de generația actuală, HPC și țesături de calcul-științifice, rețele de stocare de înaltă-performanță, fabrici RoCEv2 Ethernet și InfiniBand, flote de servere cloud generale și camere de upgrade 100G/200G-la generație mixtă 100G/200G{9}la 40{9}G. În aceste setări, 400G este rareori un compromis. Este pur și simplu clasa de viteză potrivită atunci când dimensiunea clusterului, numărul de GPU și bugetul nu justifică complexitatea adăugată a 800G.

De ce 400G mai are sens

Selectarea NIC este o problemă-de echilibrare a sistemului. Dacă o gazdă nu poate alimenta un adaptor 800G, dacă sarcina de lucru este legată de calcul- sau de stocare-sau dacă coloana vertebrală este încă de 400G, atunci introducerea NIC-urilor 800G crește costurile fără a muta performanța aplicației. O țesătură 400G bine construită-, cu supraabonament scăzut, o topologie curată, RDMA, optică de calitate și control reglat al congestiei, încă mai desfășoară în mod confortabil sarcinile AI și HPC solicitante.

Ce este un NIC 800G?

O NIC 800G oferă până la 800 gigabiți pe secundă pe port. Acesta vizează centrele de date AI de -generație următoare, clusterele GPU mari și fabricile hiperscale în care cererea de comunicații depășește rețelele convenționale de servere. Generația 800G este acum standardizată:standardul IEEE 802.3df, ratificat în 2024, definește 800 Gigabit Ethernet și acceptă sub-rate, cum ar fi 1x800G, 2x400G și 8x100G, ceea ce face ca migrarea cu viteză mixtă-practică.

Valoarea nu este doar rata de titlu dublată. 800G le permite arhitecților să mărească densitatea lățimii de bandă, să reducă numărul de legături și module și să susțină structuri de antrenament mai mari, cu trafic mai agresiv pentru tot-tot-.

De ce clusterele AI trec la 800G

Antrenamentul mare-model generează un trafic enorm de GPU-la-GPU și de-la-server. Schimbul de gradient, toate-reducerea, amestecul-de-experți în rutare, puncte de control și stocare-conducte grele, toate ciocănesc materialul. Pe măsură ce acceleratoarele devin mai rapide, rețeaua trebuie să țină pasul sau GPU-urile scumpe stau inactiv în așteptarea sincronizării. 800G NIC-urile răspund la aceasta prin creșterea lățimii de bandă pe nod, pe accelerator sau pe șină de rețea.

800G este o decizie de material, nu doar un adaptor

Trecerea la 800G remodelează selecția comutatoarelor, optica, planificarea acoperirii, designul termic, fluxul de aer și aspectul rack-ului. Opțiunile optice și de cupru, în special, devin mai stricte: un port 800G poate folosi un modul OSFP sau QSFP-DD, iar modulele-laterale și NIC-de comutare pot diferi în ceea ce privește designul termic și mecanic chiar și la aceeași rată. Dacă instalația dvs. utilizează fibră structurată, confirmați din timp tipurile de module și conectori; noastreprezentare generală a factorului de formă QSFP-DDacoperă acolo unde se potrivește în raport cu OSFP. Tratați 800G ca pe un program-la nivel de fabrică, nu ca pe o singură schimbare-de articole.

NIC 400G vs NIC 800G

Când să alegeți un NIC 400G

Alegeți o NIC 400G atunci când obiectivul este o rețea-de înaltă performanță, cu hardware matur, implementare previzibilă și costuri controlate.

Vă construiți pe infrastructura 400G existentă

Dacă comutatoarele, cablurile, sistemele optice și platformele de server sunt deja standardizate pe 400G, rămânerea cu NIC-uri 400G elimină o serie de verificări de compatibilitate și vă permite să reutilizați cea mai mare parte a ecosistemului actual. Acest lucru este valabil mai ales atunci când faceți upgrade de la 100G sau 200G, unde câștigul de performanță este mare și ecosistemul este mult mai matur decât 800G.

Volumul dvs. de lucru AI nu saturează materialul

Nu orice lucrare AI are nevoie de 800G per server. Multe sunt legate de calcul-, de stocare-, de memorie- sau limitate de eficiența software-ului, mai degrabă decât de lățimea de bandă a rețelei. Dacă profilarea arată că rețeaua nu este principalul blocaj, o NIC 400G oferă de obicei o rentabilitate mai bună.

Aveți nevoie de un HPC rentabil-

Multe încărcături de lucru HPC sunt mai sensibile la latență, la comportamentul-de transmitere a mesajelor și la congestionarea fabricii, mai degrabă decât la lățimea de bandă brută. O țesătură 400G bine reglată o bate adesea pe una 800G slab integrată. Întrebarea utilă nu este care NIC este mai rapidă, ci care design de rețea oferă cea mai bună performanță a aplicației pe dolar.

Aveți nevoie de achiziții mai rapide și cu{0}}risc redus

Adaptoarele, sistemele optice și cablurile 400G sunt mai ușor de aprovizionat și de calificat pe mai multe platforme de servere și switch. Când echipa are timp limitat pentru validare, 400G este alegerea cu risc mai scăzut-care înlătură în continuare cele mai multe blocaje.

Când să alegeți un NIC 800G

Alegeți o NIC 800G atunci când aplicația, platforma GPU și materialul pot folosi efectiv lățimea de bandă suplimentară.

Proiectați o țesătură de antrenament AI de -generație următoare

Clusterele mari de antrenament generează o comunicare intensă-la-toate și est-vest. Pe măsură ce dimensiunea modelului, numărul de GPU și paralelismul cresc, rețeaua devine limitatorul. Aici, NIC-urile 800G măresc lățimea de bandă per-nod și reduc riscul ca materialul să limiteze GPU-urile.

Aveți nevoie de o densitate mai mare a lățimii de bandă

800G reduce numărul de porturi, legături și module necesare pentru a furniza o anumită lățime de bandă. Acest lucru contează în grupurile dense în care spațiul în rack, numărul de porturi de pe panoul frontal-, gestionarea cablurilor și raza comutatorului sunt toate constrânse. Legături mai puține și mai rapide pot simplifica construcția, cu condiția ca structura comutatorului și planul de cablare să fie concepute pentru aceasta.

Sunteți în plan pentru platformele GPU de -generație următoare

Dacă foaia de parcurs include servere GPU de -generație următoare, densitate mai mare a puterii rack-urilor, răcire cu lichid și clustere mai mari, 800G este chemarea strategică mai puternică. Cumpărarea de 400G astăzi poate fi încă rezonabilă, dar materialul ar trebui să fie proiectat cu o cale de migrare la 800G sau mai mult.

Doriți să reduceți întreruperile-de actualizare pe termen lung

O strategie 800G în etape reduce durerea viitoare de migrare. Implementați mai întâi switch-uri compatibile cu 800G-, conectați NIC-urile 400G existente prin design-uri de tip breakout sau cu viteză mixtă-, apoi actualizați serverele la 800G mai târziu. Acest lucru protejează investiția actuală în timp ce pune în scenă materialul pentru următoarea generație.

Când NU să alegeți un NIC 800G

Aceasta este adesea întrebarea mai utilă și filtrează cele mai regretate achiziții. Așteptați 800G atunci când oricare dintre următoarele este adevărată:

• Gazda nu poate expune o cale completă PCIe Gen6-class x16 către adaptor. Portul va funcționa înfometat și veți fi plătit pentru lățimea de bandă pe care magistrala serverului nu o poate furniza.
• Coloana vertebrală este supraabonată sau încă 400G. O NIC mai rapidă nu remediază o țesătură constrânsă; doar îndepărtează blocajul cu un hop.
• Volumul de lucru este legat de latență- sau MPI-mai degrabă decât de lățime de bandă-. Debitul suplimentar face puțin pentru sarcinile blocate de sincronizare sau comportamentul-de mesaje mici.
• Optica, cablarea sau răcirea pentru 800G nu pot fi găsite și validate pe cronologia dvs. Un modul necalificat care clape sub sarcină este mai rău decât o legătură mai lentă care rămâne sus.
• Nu există nicio foaie de parcurs concretă de creștere care să justifice prima astăzi.

Dacă se aplică două sau mai multe dintre acestea, 400G este aproape sigur răspunsul potrivit pentru această versiune, cu 800G păstrat în rezervă pentru următoarea reîmprospătare.

NIC 400G vs 800G pentru centrele de date în cloud

Țesăturile cloud rareori rulează o singură viteză peste tot. Se segmentează după clasa de trafic, iar alegerea NIC urmează segmentul mai degrabă decât centrul de date în ansamblu.

• Trafic frontal-nord-sud:400G este, de obicei, suficient pentru nivelurile-față de utilizator și API, unde lățimea de bandă-per flux este modestă, iar numărul de conexiuni domină.
• Depozitare și trafic est-vest:răspunsul depinde de cât de dezagregată este arhitectura. 400G acoperă majoritatea pool-urilor generale; 800G ajută acolo unde unitățile de stocare mari și distribuite au susținut încărcarea est-vest.
• Inferență AI:400G este suficient pentru multe nori de inferență, în timp ce 800G se potrivește unui amestec dens-de-experți în rutare sau difuzare dezagregată în care jetoanele se deplasează pe mai multe noduri.
• Țesătură multi-chiriași:aici, raportul de supraabonament și izolarea chiriașilor modelează performanța mult mai mult decât rata de vârf NIC. O țesătură echilibrată de 400G cu izolare puternică o bate adesea pe una mai rapidă, dar congestionată.

Deoarece creșterea cloud-est-vest aterizează pe fibră structurată, planificați cablarea trunchiului alături de NIC; noastreghid pentru cablarea trunchiului MPO/MTPacoperă cursele de-densitate mare. Ca regulă generală, utilizați 400G pentru majoritatea nivelurilor de cloud-front-end și generale și rezervați 800G pentru segmentele în care domină servirea densă AI sau piscinele mari de est-vest.

Factori cheie de selecție dincolo de viteza portului

O NIC mai rapidă nu garantează încărcături de lucru mai rapide decât dacă întreaga platformă o acceptă. Cinci factori decid dacă un port 800G oferă sau rămâne inactiv.

Generarea PCIe și lățimea de bandă gazdă

NIC ajunge la gazdă prin PCIe, iar acea legătură este un plafon dur. Un port de 400 Gb/s are nevoie de aproximativ 50 GB/s pe direcție, pe care îl poate transporta un slot PCIe Gen5 x16, la aproximativ 63 GB/s utilizabil pe direcție. Un port de 800 Gb/s are nevoie de aproximativ 100 GB/s pe direcție, dincolo de un slot Gen5 x16, motiv pentru care adaptoarele 800G se așteaptă în generalspecificația PCIe 6.0 de la PCI-SIG(64 GT/s, până la 256 GB/s bidirecțional pe x16) sau un design x32 neobișnuit. Înainte de a vă angaja la 800G, confirmați:

• generație PCIe
• Număr de benzi și cablare slot
• Plasarea NUMA și calea GPU-la-NIC
• Validarea furnizorului-serverului pentru adaptor
• Suport pentru BIOS și firmware

În serverele GPU, plasarea NIC în raport cu CPU-urile și GPU-urile decide cât de curat se mișcă datele. Un NIC de clasă Gen6-scăzut într-un slot Gen5 x8 este cel mai frecvent blocaj auto-provocat în domeniu.

Comutare Fabric și Supraabonament

Viteza NIC trebuie să se potrivească cu țesătura. 800Adaptoarele G nu fac nimic dacă coloana-frunzei este suprasubscrisă sau legăturile în sus sunt subțiri. Verificați vitezele portului frunzelor și ale coloanei vertebrale, raportul de supraabonament, numărul de șine de rețea, modelul est-vest, designul domeniului eșec-și lățimea de bandă a bisecției necesară. Pentru antrenament, un raport mai mic de supraabonament face de obicei mai mult pentru performanță decât un NIC mai rapid.

RoCE, InfiniBand și Ultra Ethernet

Materialele AI și HPC se bazează pe RDMA pentru a reduce supraîncărcarea CPU, iar protocolul modelează NIC, comutatorul, controlul congestiei și operațiunile. Astăzi, NDR InfiniBand rulează la 400 Gb/s per port șiXDR InfiniBand atinge 800 Gb/s per port, care se aliniază direct cu nivelurile NIC 400G și 800G. Pe partea Ethernet,

Specificația 1.0 a Ultra Ethernet Consortiumdefinește o stivă RDMA-pe-Ethernet care cuprinde NIC-uri, comutatoare, optică și cablare, care vizează direct AI și extinderea HPC-.

Alegeți InfiniBand pentru o țesătură HPC sau AI strâns integrată, cu-latență redusă, atunci când echipa dvs. cunoaște acel ecosistem. Alegeți Ethernet sau RoCE pentru o alegere mai largă a furnizorilor și pentru integrarea în cloud. Luați în considerare Ultra Ethernet atunci când doriți o cale standardizată și deschisă pentru următoarea-generație-Ethernet de înaltă performanță.

Optică, factori de formă și cablare

La 400G și 800G, compatibilitatea fizică contează la fel de mult ca și rata. Două module pot împărtăși o viteză, dar diferă în ceea ce privește factorul de formă, designul termic și cerințele gazdei. Verificați OSFP vs QSFP112 vs QSFP-DD, plat-top vs finned-OSFP, switch-side vs NIC-side module, DAC, AEC, AOC, or optical reach, breakout support, și codificarea furnizorilor și firmware-ul. Nu presupuneți că un OSFP 800G care funcționează într-un comutator se va așeza și se va răci corect într-o NIC; multe module comutatoare și NIC utilizează diferite design-uri termice și mecanice.

Validare de putere, flux de aer și termică

Componentele 800G consumă mai multă putere și funcționează mai fierbinte. Validați NIC-ul, optica, porturile comutatorului și calea fluxului de aer sub sarcină susținută, nu în mod inactiv. Confirmați puterea NIC și a modulului optic-, direcția fluxului de aer și spațiul de răcire, temperatura maximă de intrare, densitatea cablului și blocarea fluxului de aer și ipotezele de răcire- cu lichid-. Instabilitatea termică se manifestă ca clapete de legătură și rate de eroare în creștere, genul de defecțiune intermitentă care este lent și costisitor de urmărit în producție.

Greșeli frecvente de evitat

Cumpărați 800G doar pentru că este mai rapid

800G nu este automat mai bun. Dacă volumul de lucru, serverul sau structura nu poate utiliza lățimea de bandă, costul suplimentar nu se transformă în performanță a aplicației. Potriviți portul cu blocajul pe care îl aveți de fapt.

Ignorarea lățimii de bandă PCIe

O NIC poate muta datele doar atât de repede cât permite magistrala gazdă. Verificați generația PCIe, numărul de benzi și topologia serverului înainte de a alege o clasă de viteză, nu după sosirea hardware-ului.

Alegerea modulului optic greșit

La aceste rate, factorul de formă a modulului și designul termic sunt critice. Este posibil ca o variantă OSFP greșită să nu se potrivească cu o anumită cușcă sau să se potrivească, dar să se supraîncălzească în condiții de trafic susținut, producând erori care arată ca o problemă de material.

Uitând întinderea cablului

DAC, AEC, AOC, optica multimod și optica cu un singur{0}mod servesc fiecare distanțe diferite, iar diferitele tipuri de fibre transportă distanțe diferite; noastredefalcarea OM1 la OM5 atinge limitelearată unde se ridică fiecare notă. Alegerea unei interconexiuni greșite adaugă latență, cost sau reluare.

Tratarea NIC-urilor, comutatoarelor și opticilor ca achiziții separate

Comandați adaptorul, comutatorul, optica și cablarea ca o singură listă de materiale validată. O nepotrivire descoperită după implementare înseamnă un port care se conectează, dar clape, sau hardware care trebuie returnat la jumătatea-constructiei, ceea ce este mult mai perturbator decât capturarea acestuia în timpul calificării.

Recomandare finală

Alegeți o NIC 400G pentru un adaptor dovedit,-eficient din punct de vedere al costurilor, care se potrivește cu AI, HPC, stocare și materialele cloud actuale. Este alegerea practică pentru majoritatea clusterelor GPU existente și a sălilor de-generații mixte. Alegeți o NIC 800G atunci când densitatea lățimii de bandă, comunicarea cu GPU la scară mare-și pregătirea pentru upgrade depășesc costul inițial și atunci când întreaga cale este creată pentru aceasta.

Decizia nu este niciodată numai rapidă. Este dacă serverele, comutatoarele, optica, cablarea, puterea și răcirea dvs. pot transforma acea viteză în performanță a aplicației. Disciplina care protejează bugetul este simplă: validați NIC-ul, comutatorul, optica și cablarea ca un singur sistem înainte de a plasa comanda.