AI klasteru tīkla dizains: Spine{0}}Leaf, RoCE un NIC

AI klasteru tīkla projektēšana ir GPU servera NIC, lapu-mugurkaula joslas platuma, pārmērīgas abonēšanas koeficienta, RoCE iestatījumu, optikas un kabeļu lieluma noteikšanas process, lai izplatītā apmācības trafika būtu paredzama klastera mērogā. Ja kāds no tiem ir nepareizi, tīkls -, nevis GPU - kļūst par vājo vietu.

Kāpēc AI klasteru tīkls ir atšķirīgs

Tradicionālā uzņēmuma datu centrā tīkls apstrādā ziemeļu{0}}dienvidu lietotāju trafiku, piekļuvi krātuvei, virtualizāciju un pārvaldību. Austrumu-rietumu satiksme pastāv, taču reti tā ir dominējošā slodze. AI klasterī situācija mainās. GPU serveri, kuros darbojas sadalītas apmācības, apmainās ar gradientiem un sinhronizē parametrus katrā darba posmā. Šī komunikācija ir daļa no aprēķina, nevis tā blakusefekts.

Ja 30 000 $ vērts GPU pavada 30% sava laika, gaidot tīklā visu-samazināt operāciju laikā, kopa faktiski maksā par 30% no skaitļošanas jaudas, lai tā būtu dīkstāvē. Tas ir ekonomiskais iemesls, kāpēc AI tīkliem tiek pievērsta tik liela uzmanība.

Trīs darba slodzes īpašības nosaka dizainu:

• Spēcīga austrumu{0}}rietumu satiksme.Kolektīvas komunikācijas darbības, piemēram, visi{0}}samazināšana, visa-apkopošana un izkliedes samazināšana-, rada sinhronizētus sērijveidus daudzos mezglos vienlaikus.
• Astes{0}}latences jutīgums.Viens lēns mezgls aizkavē visu apmācības posmu. Paredzamajam latentumam ir lielāka nozīme nekā vidējam latentumam.
• Samaziniet{0}}izaugsmi.Klasteros, kas sākas ar 32 GPU, 18 mēnešu laikā bieži vien pieaug līdz 256 vai 1024. Audumam jābūt mērogam bez pārveidošanas.

Kāpēc Spine{0}}Leaf der AI klasteriem

Spine{0}}leaf ir standarta audums hipermēroga datu centriem, jo ​​tas nodrošina katram serverim-līdz{2}}serverim vienādu lēcienu skaitu un to pašu teorētisko joslas platumu. AI darba slodzēm šī vienveidība tieši izpaužas kā paredzamāks apmācības soļu laiks.

Mugurkaula-lapu topoloģijā GPU serveri savienojas ar lapu slēdžiem, un katra lapa savienojas ar katru mugurkaulu. Jebkura GPU-uz-GPU komunikācija šķērso tieši vienu lapu, vienu mugurkaulu un vēl vienu lapu. Nav apkopošanas slāņu, kas ieviestu mainīgu latentumu vai droses punktus.

Paredzams latentums

Vienādas{0}}izmaksas vairāku-ceļu (ECMP) maršrutēšana sadala plūsmas pāri mugurkaula slēdžiem. Ja tas ir pareizi konfigurēts ar adaptīvo maršrutēšanu vai dinamisko slodzes līdzsvarošanu, tas novērš jaukšanas sadursmes, kuru dēļ dažas plūsmas ir daudz lēnākas nekā citas - zināma problēma statiskajos ECMP audos, kuros ir maz, bet lielas plūsmas, un tieši to rada AI apmācība.

Augstas sadalīšanas joslas platums

Bisekcijas joslas platums ir caurlaidspēja, kas pieejama starp jebkurām divām vienādām klastera pusēm. AI apmācība gūst labumu no ne-bloķējošiem vai gandrīz-ne-bloķējošiem dizainiem, kur lapas-uz-augšsaites jauda ir vienāda ar vai gandrīz vienāda ar lejupsaites jaudu, kas vērsta pret serveriem. IETF definē un apspriež šos jēdzienusRFC 7938, kas aptver BGP{0}}maršrutētos Clos audumus, ko plaši izmanto liela mēroga-datu centros.

Vieglāka mērogošana-

Pievienojiet vairāk lapu, lai pievienotu vairāk serveru. Pievienojiet vairāk muguriņu, lai pievienotu lielāku joslas platumu. Klasteriem, kas pārsniedz dažus tūkstošus GPU, super-spine (5-pakāpju Clos) vai sliedes optimizēta topoloģija paplašina to pašu principu par vienu slāni tālāk.

AI klasteru tīkla galvenie komponenti

GPU serveri un NIC

NIC ir vieta, kur audums satiekas ar saimnieku. AI klasteros NIC atlase nosaka visu lejup pa straumi - slēdža porta ātrumu, optikas izvēli un kabeļu blīvumu.

AI darba slodžu atlases kritēriji:

• Porta ātrums:200G, 400G vai 800G uz vienu portu. Atbilst GPU paaudzei un PCIe joslas platumam.
• PCIe paaudze:400 G NIC ir nepieciešams PCIe Gen5 x16, lai izvairītos no saimniekdatora{3}}puses ierobežošanas. Izmantojami PCIe Gen4 x16 vāciņi ar ~ 256 Gb/s.
• RDMA un RoCEv2 atbalsts:Nepieciešams kodola{0}}apvadīšanai GPU komunikācijas bibliotēkās, piemēram, NCCL.
• GPUDirect RDMA:Ļauj tieši GPU-uz-NIC DMA, noņemot resursdatora atmiņas kopijas.
• Vairāku sliežu{0}}iespēja:Daudzi AI serveri izmanto 4 vai 8 NIC uz mezglu, pa vienam GPU pārim, lai optimizētu dzelzceļa -topoloģiju.

Tipisks 8 GPU serveris mūsdienās atkarībā no darba slodzes un budžeta izmanto vai nu 4 × 400 G NIC (vienu uz diviem GPU) vai 8 × 400 G NIC (vienu GPU). Atsauces arhitektūras noNVIDIA tīkla dokumentācijadetalizēti aptveriet dizaina kompromisus.

Lapu un mugurkaula slēdži

Slēdžu atlases kritēriji mākslīgā intelekta audumiem atšķiras no uzņēmuma izvēles. Bufera lielums, sastrēgumu kontroles darbība un telemetrija ir svarīgākas par funkcijas plašumu.

• Pēc-porta ātruma un radiksa:51,2 Tbps slēdzis ASIC nodrošina 64 × 800 G pieslēgvietas vai 128 × 400 G pieslēgvietas. Radikss nosaka, cik plakans var būt audums.
• Bufera arhitektūra:Dziļie buferi absorbē incast sēriju, bet palielina latentumu. Sekli buferi samazina latentumu, taču tiem ir nepieciešama precīza pārslodzes kontrole.
• RoCE funkciju komplekts:ECN marķējums, PFC, DCQCN vai līdzvērtīga pārslodzes kontrole un pareiza prioritāro rindu apstrāde no gala{0}}līdz-galam.
• Telemetrija:Inband tīkla telemetrija (INT), -rindas dziļuma ziņošana un mikrosekundes-izšķirtspējas skaitītāji ECN atzīmēm un PFC pauzēm.

Optika, DAC un AOC kabeļi

Pie 400G un 800G kabeļu rūpnīca kļūst par īstu inženiertehnisku problēmu. Formas faktoriem, saišu budžetiem un sadalījuma konfigurācijām ir nepieciešama agrīna plānošana.

• DAC (tiešās pievienošanas vara):Līdz ~3 metriem 400G, zemākās izmaksas un mazākā jauda. Smags un apjomīgs pēc mēroga.
• AOC (aktīvais optiskais kabelis):Līdz ~30 metriem, plānāks nekā DAC, taču ir fiksēts-garums un patērē optikas jaudu abos galos.
• Pieslēdzama optika:Nepieciešams pēc AOC attāluma. QSFP-DD un OSFP formas faktori dominē 400G/800G. MPO/MTP šķiedru komplekti apstrādā paralēlos{5}}šķiedru savienojumus.

Inter{0}}statņu saitēm un strukturētiem kabeļiem ar spriegumu 400 G/800 G paralēlā optika pār MPO galiem tagad ir standarta. Izvēle starp maģistrāles kabeļiem un sadales blokiem ir atkarīga no jūsu slēdža porta sadalījuma - skatiet mūsuMPO atdalīšanas kabeļa vadotnepraktiskajai atlases loģikai un plašākaiMPO stumbra un izlaušanās salīdzinājumsplānojot skrējienus no lapas-līdz-mugurkaula.

RoCE un bezzudumu Ethernet AI audumos

RoCEv2 (RDMA over Converged Ethernet v2) ir dominējošais Ethernet transports AI darba slodzēm. Tas ļauj NIC tieši pārvietot datus starp GPU atmiņas reģioniem bez kodola iesaistīšanās abos galos. NCCL, GPU komunikācijas bibliotēka, kas ir gandrīz visu izplatīto apmācību sistēmu pamatā, izmanto RoCEv2, ja InfiniBand nav pieejams.

RoCE darbojas labi, ja tas ir pareizi konfigurēts. Nepareizi konfigurējot, tas neizdodas neglīti. TheInfiniBand tirdzniecības asociācijapublicē RoCE specifikācijas, un lielākā daļa NIC un slēdžu piegādātāju publicē detalizētas konfigurācijas rokasgrāmatas, kas jāievēro no beigām{0}}līdz-beigām.

Kāpēc bezzudumu uzvedībai ir nozīme

RDMA tika izstrādāta, pieņemot, ka transportēšana notiek bez zudumiem. Kad pakešu skaits samazinās, RDMA atkopšana ir dārga - go-back-N atkārtota pārraide var apturēt apmācības soli uz milisekundēm, kas ir milzīgs apjoms salīdzinājumā ar mikrosekundes-mēroga RDMA budžetu.

Lai tuvinātu bezzudumu darbību Ethernet tīklā, audums izmanto divus mehānismus, kas darbojas kopā:

• PFC (prioritātes plūsmas kontrole, IEEE 802.1Qbb):Slēdzis aptur ienākošo trafiku noteiktā prioritātes rindā, kad tā buferis ir piepildīts. Šis ir pēdējais-salīdzināšanas mehānisms.
• ECN (Explicit Congestion Notification, RFC 3168):Pārslēdz atzīmju paketes, kad rindas tuvojas slieksnim. NIC samazina nosūtīšanas ātrumu, pirms buferi faktiski piepildās, ideālā gadījumā pilnībā izvairoties no PFC.

Mērķis ir, lai ECN veiktu gandrīz visu sastrēgumu pārvaldību, izmantojot PFC kā drošības tīklu. Ja novērojat biežas PFC pauzes stabilā-stāvokļa trafikā, jūsu ECN sliekšņi ir nepareizi vai jūsu audums ir pārāk mazs.

Bieži sastopamas RoCE izvietošanas kļūmes

Kā izveidot AI klasteru tīklu: darba ietvars

Šī ir sadaļa, kas tiek izlaista lielākajā daļā rakstu par AI tīkliem. Tālāk norādītās septiņas darbības sniedz konkrētus ievades un izvades datus katrā posmā.

1. darbība: definējiet darba slodzi un mērogu

Ievades:Darba slodzes veids (priekšapmācība, precīza{0}}noregulēšana, secinājumi, jaukts), mērķa GPU skaits šodien, mērķa GPU skaits pēc 18 mēnešiem, modeļa izmēru diapazons.

Izvade:Darba slodzes profils, kas informē NIC ātrumu un pārmērīgas abonēšanas toleranci. Lielai robežu modeļu iepriekšējai apmācībai ir nepieciešami ne-bloķējoši 400 G+ audumi. Precīza-darba slodze var izturēt 2:1 pārmērīgu abonēšanu. Secinājumu klasteriem bieži ir nepieciešams mazāks joslas platums, bet mazāks aizture latentums.

2. darbība: izvēlieties NIC ātrumu un skaitu katram serverim

Lēmuma loģika:

• Lielu modeļu, 8 GPU serveru iepriekšēja apmācība → 4–8 × 400 G NIC uz serveri vai 4 × 800 G
• Vidēja mēroga-apmācība, 8 GPU serveri → 2–4 × 400 G NIC uz serveri
• Secinājumu apkalpošana → 1–2 × 200 G vai 400 G NIC vienam serverim atkarībā no modeļa paralēlisma

Pārbaudiet PCIe joslas platumu resursdatorā. Vienam 400 G portam ir nepieciešams PCIe Gen5 x16, lai tas darbotos ar līnijas ātrumu; lai dubultotu līdz 800 G, ir nepieciešams Gen6 vai sadalīšana divos slotos.

3. darbība: nosakiet lapu slāņa izmēru

Nostrādāts piemērs - 32-mezglu klasteris, 8 GPU katrā mezglā, 4 × 400 G NIC vienā mezglā:

• Kopējais servera -pieslēgvietu skaits: 32 × 4=128 porti pie 400 G
• Lejupsaites joslas platums uz mezglu: 4 × 400=1.6 Tb/s
• Kopējais klastera lejupsaites joslas platums: 32 × 1.6=51.2 Tb/s

Izmantojot 64 portu 400 G lapu slēdzi (25,6 Tb/s kopējā jauda), katra lapa var savienot 32 servera portus un izmantot atlikušos 32 portus kā augšupsaites. Ar 4 lapām jūs aptverat visus 128 servera portus. Katra lapa nodrošina 32 × 400 G=12.8 Tb/s augšupsaites mugurkaula virzienā.

4. darbība. Nosakiet mugurkaula slāņa izmēru

Ne-bloķējošam (1:1) dizainam kopējai augšupsaites jaudai ir jābūt vienādai ar kopējo lejupsaites jaudu. No 3. darbības:

• Kopējā nepieciešamo lapu augšupsaite: 4 lapas × 12,8 Tb/s=51.2 Tb/s
• Ja katram mugurkaulam ir 32 × 400 G pieslēgvietas=12.8 Tbps, jums ir nepieciešami 4 muguriņas
• Katra lapa savienojas ar visiem 4 mugurkauliem, izmantojot 8 augšupsaites katram mugurkaulam (8 × 400 G × 4=12.8 Tbps vienā lapā - atbilst)

Ja izmantojat 64 portu 400 G mugurkaula slēdžus, katram mugurkaulam ir rezerves jauda, ​​lai palielinātu kopu, kas ir noderīga 18 mēnešu plānam no 1. darbības.

5. darbība. Iestatiet pārrakstīšanās koeficientu

6. darbība. Atdaliet skaitļošanas, uzglabāšanas un pārvaldības trafiku

Trīs iespējas, lai palielinātu izolāciju:

• Koplietots audums ar QoS klasēm:Aprēķiniet, glabājiet un pārvaldiet atsevišķas DSCP prioritātes. Zemākās izmaksas; nepieciešama rūpīga QoS konfigurācija.
• Loģiski atdalīti VLAN/VRF:Tā pati aparatūra, atsevišķas vadības plaknes. Noderīga vairāku-īrnieku klasteriem.
• Fiziski atsevišķi audumi:Īpaši NIC, slēdži un kabeļi skaitļošanai salīdzinājumā ar krātuvi. Augstākās izmaksas; izplatīts pierobežas-modeļu klasteros, kur jebkāda veida strīdi nav pieņemami.

AI krātuves trafika pati par sevi ir liela - kontrolpunkta ieraksti lielam modelim var pārvietot simtiem gigabaitu īsās sērijās. Plānojiet to skaidri. Augsta-blīvuma strukturēta kabeļu iekārta, kas izmantoMPO/MTP maģistrāles kabeļivienkāršo paralēlu audumu darbināšanu tajā pašā fiziskajā infrastruktūrā.

7. darbība: apstipriniet pirms ražošanas

Tīkla{0}}līmeņa testi atklāj dažas problēmas. Darba slodzes-līmeņa testi aptver pārējo.

• Joslas platums:iperf3 vai ib_send_bw starp katru mezglu pāri; vajadzētu sasniegt 90%+ no NIC līnijas likmes.
• Latentums:ib_read_lat vai tamlīdzīgi; pārbaudiet sadalījumu, ne tikai vidējo. P99.9 ir svarīgāks par vidējo.
• Pakešu zudums:Veikt 24-stundu uzsūkšanās testu zem slodzes; jebkuri zaudējumi, kas nav nulles, RoCE satiksmes klasē ir problēma.
• ECN marķējuma darbība:Pārbaudiet, vai pirms PFC uzliesmojuma parādās zīmes; ja vienmērīgā stāvoklī PFC pauzes ir biežas, noregulējiet no jauna.
• Kolektīvā komunikācija:Palaidiet NCCL testus (all_reduce_perf, all_gather_perf) pilnā klastera izmērā. Salīdziniet ar pārdevēja atsauces numuriem.
• Darba{0}}līmeņa pārbaude:Veiciet reprezentatīvu apmācību darbu 4–6 stundas. Skatieties, ka GPU izmantošanas - vērtības ir zem 50% atbilstoši-izmēra modelim, parasti norāda uz tīkla problēmu.

Tradicionālais datu centru tīkls salīdzinājumā ar AI mugurkaula{0}}lapu audumu

Ethernet RoCE vs InfiniBand: ātrā lēmumu ceļvedis

Šis jautājums rodas gandrīz katrā AI klastera projektā. Abi strādā. Izvēle parasti ir saistīta ar piemērotību ekspluatācijai, nevis tīru veiktspēju.

• Izvēlieties InfiniBand, ja:Jūsu komanda jau izmanto InfiniBand audumus, jūs vēlaties vienkāršāko ceļu uz bezzudumu transportēšanu vai iegādājaties pilnībā{0}}integrētu piegādātāju atsauces arhitektūru.
• Izvēlieties Ethernet RoCE, ja:Jūsu operāciju komandai ir Ethernet -native, jūs vēlaties vairāku-pārdevēju slēdžu iespējas, jums ir jāintegrē AI struktūra esošajos datu centru tīklos vai arī jūs paredzat mērogošanu, kas pārsniedz pašreizējo InfiniBand topoloģiju atbalstu.

Ultra Ethernet konsorcijs, kas izveidots 2023. gadā, aktīvi strādā, lai standartizētu Ethernet uzlabojumus, kas īpaši paredzēti AI darba slodzēm. Lielākajai daļai jauno klasteru 2026. gadā Ethernet RoCE ir attaisnojams noklusējuma risinājums, ja vien nav īpaša iemesla izvēlēties citādi.

Biežākās kļūdas, no kurām jāizvairās

Slēdžu jaunināšana, nepārbaudot NIC

800 G slēdža audums neko nedara, ja jūsu NIC darbojas ar 400 G vai jūsu resursdatora PCIe pietrūkst joslas platuma. Vispirms noformējiet resursdatora pusi, pēc tam slēdža pusi. PCIe Gen5 x16 ierobežo vienu portu līdz aptuveni 504 Gb/s reālās pasaules -pasaules caurlaides spējas -, kas ir ērtas 400 G, bet minimālas — 800 G.

Portu ātruma optimizēšana, bet kabeļu blīvuma ignorēšana

Pie 64-porta 400G izejas kabeļi zem katra slēdža var kļūt fiziski nevadāmi bez plānošanas. Ja nepieciešams, izmantojiet atdalīšanas kabeļus, virziet šķiedras pa strukturētiem ceļiem un standartizējiet savienotāju tipus. Liela ātruma savienotāju kvalitātei un izbeigšanai ir nozīme - mūsuOptisko šķiedru savienotāju veidu rokasgrāmataaptver kompromisus starp LC, MPO un topošajiem augsta{0}}blīvuma formas faktoriem.

RoCE traktēšana kā Plug{0}}and-Play

Lielākā dizaina kļūda reālos mākslīgā intelekta klasteros ir nepareiza slēdža izvēle -, tas ir nepietiekami novērtēts, cik daudz RoCE konfigurācijas darba ir nepieciešams no gala-līdz -galam. Budžeta laiks ECN sliekšņu, PFC prioritāšu un MTU konsekvences regulēšanai. Pirms jebkādas ražošanas darba slodzes ieplānojiet īpašu validācijas posmu.

Visas trafika sajaukšana uz viena auduma bez QoS

Krātuves replikācija, uzraudzības aģenti un pārvaldības trafika var sagraut apmācības soļu laiku, ja tie koplieto buferus ar skaitļošanas trafiku. Vai nu atdaliet tos fiziski, vai arī ieviesiet stingras QoS klases ar atsevišķām prioritātēm un ECN konfigurāciju.

Ēka tikai šodienas klasterim

Lielākā daļa AI klasteru palielinās 4–8 reizes divu gadu laikā pēc sākotnējās ieviešanas. Izvēlieties slēdža radiksi un mugurkaula ietilpību, kas nodrošina netraucētu paplašināšanos. Kabeļu vilkšana dzīvā AI datu centrā ir dārga; Cauruļu un ielāpu jaudas plānošana izvietošanas laikā ir lēta.

Kad palielināt ātrumu no 400 G uz 800 G

Ir pieejami 800G NIC un slēdži, taču tie ir dārgāki par katru portu. Apsveriet iespēju pastiprināt, ja:

• Uz -GPU joslas platuma vajadzības pārsniedz to, ko var nodrošināt 400 G -, piemēram, H100 un jaunāki GPU ar NVLink 5 paredz lielāku ārējo joslas platumu
• NCCL viss{0}}samazināts laiks ir vāji mērogots ar klastera lielumu, norādot uz tīkla piesātinājumu
• Kabeļu blīvums pie 400 G kļūst fiziski nepārvaldāms - mazāk 800 G portu var aizstāt vairāk 400 G portu
• Paredzams, ka nākamajai GPU paaudzei jūsu ceļvedī tas būs nepieciešams klastera nolietojuma logā
• Jūs veidojat pārrobežu{0}}modeļu apmācības kopu, kurā jebkurš skaitļošanas dīkstāves laiks maksā ievērojami vairāk nekā optikas jauninājums

Lielākajai daļai ražošanas klasteru 2026. gadā 400G joprojām ir pareizais izmaksu, ekosistēmas brieduma un iespēju līdzsvars. 800G ir jēga augstākajā līmenī un kā nākotnes ieguldījums klasteriem, kas tiek būvēti šodien un paredzams, ka tie darbosies 4–5 gadus.

Secinājums

Spēcīgākais AI klasteru tīkls nav tas, kuram ir ātrākie slēdži. Tas ir tas, kurā NIC izvēle, lapu / mugurkaula izmēra noteikšana, pārmērīga abonēšana, RoCE konfigurācija, satiksmes atdalīšana un fiziskā kabeļi atbalsta viens otru un darba slodzi, kurai tie tika izvēlēti.

Sāciet ar darba slodzi un 18-mēnešu izaugsmes plānu. Aprēķiniet joslas platuma vajadzības katrā slānī, izmantojot reālus skaitļus, nevis tikai īkšķa noteikumus. Konfigurējiet RoCE beigas-līdz-beigai un apstipriniet, izmantojot reālus kolektīvās komunikācijas etalonus. Kabeļu rūpnīcas budžets - pie 400G un 800G fiziskais slānis vairs nav mazsvarīgs.

Visiem šiem slāņiem uzmanību pievērsa klasteris, kura GPU noslogojums ir 95%+ katrā apmācības posmā. Klasteris, kas tiek piegādāts ar ātrāku slēdzi un lēnāku audumu, gadiem ilgi skaidros, kāpēc GPU ir dīkstāvē.

Tālāka lasīšana

• RFC 7938 - BGP liela mēroga-datu centros
• InfiniBand Trade Association - RoCE specifikācijas
• NVIDIA tīkla dokumentācija
• Optisko šķiedru kabeļa uzstādīšanas rokasgrāmata
• Ievietošanas zudums pret atgriešanas zudumu, izskaidrots