InfiniBand vs RoCE AI secinājumu tīkliem

IzvēlietiesInfiniBandkad jūsu secinājumu darba slodze dzīvo vai mirst pēc paredzamā astes latentuma, un izvēlietiesRoCE(RDMA, izmantojot konverģēto Ethernet), ja vēlaties RDMA{0}}klases veiktspēju Ethernet tīklā, varat mērogot, koplietot un strādāt ar jau esošo komandu. Neviens no variantiem neuzvar visur. Pareizais izsaukums ir atkarīgs no jūsu secinājumu shēmas, jūsu p99 un p999 latentuma mērķiem, GPU mēroga, budžeta un no tā, cik daudz bezzudumu-Ethernet regulēšanas pieredzes faktiski ir jūsu komandā.

Kāpēc tīkls ir svarīgāks, nekā komandas gaida

Gadiem ilgi secinājumi tika uzskatīti par GPU stāsta vieglāko pusi: modelis, kas ielādēts vienā mezglā, pieprasījumi tiek apkalpoti neatkarīgi, ļoti maza austrumu{0}}rietumu trafika. Šis attēls tagad ir novecojis. Mūsdienu secinājumi tiek arvien izplatītāki, un vairāki modeļi rada reālu spiedienu uz audumu.

• Tenzoru paralēlismssadala vienu slāni starp GPU, tāpēc katrs marķiera solis aktivizē visas-samazināt vai visu-apkopošanas darbības starp tiem. Tā ir bieža, latentuma-jutīga, krusteniskā-GPU trafika, ko GPU gaidīšanas laikā bloķē.
• Cauruļvada paralēlismsroku aktivizēšana no viena posma uz nākamo, bieži vien pāri mezgliem, pievienojot pārrobežu -mezglu atkarības katrai pārejai.
• Dezagregēta priekšaizpildīšana un atkodēšanaatdala aprēķina-smagās priekšaizpildīšanas fāzi no latentuma-jutīgās atšifrēšanas fāzes, pēc tam pārvieto KV kešatmiņu starp tām. Šie pārsūtījumi ir lieli un sprādzienbīstami, un jebkura aizkave tiek tieši parādīta kā lēnāks laiks-līdz -pirmai pilnvarai{5}} un starp{6}}tokenu latentums.
• Izgūšana{0}}papildināta paaudze (RAG)pievieno austrumu{0}}rietumu trafiku vektoru un meklēšanas pakalpojumiem. Parasti tam ir mazāka latentuma -kritiska nozīme nekā kolektīvajām darbībām, taču tas joprojām noslogo audumu, it īpaši liela vaicājuma apjoma gadījumā.
• Vairāku{0}}īrnieku apkalpošanadaudzus modeļus un lietotājus novieto vienā un tajā pašā audumā, kur mikrouzliesmojumi un trokšņains{0}}kaimiņu efekts kļūst par dominējošo risku.

Ja tīkls ir sašaurinājums, simptomi ir dārgi: ilgāks-laiks-pirmā-token, GPU apstājas, kamēr tie gaida datus, caurlaidspēja, kas sabrūk sērijveidā, un nestabila p95 un p99. Un šeit ir daļa, kas pakludina etalonus: vidējais latentums to visu slēpj. Ražošanas secinājumi tiek vērtēti pēc astes, nevis vidējā.

InfiniBand vs RoCE: kopsavilkuma tabula AI secinājumiem

Kas ir InfiniBand?

InfiniBand ir mērķtiecīgi{0}}izbūvēta tīkla struktūra, kas jau no paša sākuma ir izstrādāta zemam latentumam, lielai caurlaidspējai un bezzudumu saziņai. Tas nav ātrāks Ethernet aromāts. Tam ir savi resursdatora kanāla adapteri, slēdži, apakštīkla pārvaldnieks, kabeļu ekosistēma un pārslodzes{3}}kontroles modelis. Tā noteicošā vērtība ir deterministiska uzvedība: daudzi GPU var sazināties ar stingrām laika prasībām, un audums turpina darboties konsekventi pat tad, ja kolektīvā satiksme ir intensīva.

Mūsdienu AI-orientētās InfiniBand platformas paplašina šo bāzi ar iespējām, kas paredzētas tieši lieliem GPU klasteriem. Piemēram, NVIDIA Quantum InfiniBand līnija piebilstadaptīvā maršrutēšana,{0}}tīkla skaitļošana un uz telemetriju- balstīta pārslodzes kontrole, kas palīdz audumam saprātīgi izplatīt satiksmi un izolēt viena īrnieka slodzi no cita. Lai varētu secināt, InfiniBand iegūst savu vietu, ja darba slodze nevar izturēt nervozitāti vai kad vairākiem GPU mezgliem ir ātri un konsekventi jāapmainās ar datiem.

Kompromisi{0}}ir izmaksas, ekosistēmas koncentrācija un darbības specializācija. Īpašs InfiniBand audums nozīmē īpašus slēdžus, adapterus, kabeļus vai optiskos moduļus, kā arī inženierus, kas ir ērti ar InfiniBand auduma pārvaldību. Organizācijai, kas jau pārvalda lielus Ethernet kompleksus, atsevišķa auduma pieskrūvēšana palielina iepirkuma sarežģītību,{3}}rezerves daļu plānošanu un pārraudzību.

Kas ir RoCE (RDMA, izmantojot konverģēto Ethernet)?

RoCE nodrošina RDMA — tiešo atmiņu-uz-atmiņas datu kustību ar zemu centrālā procesora slodzi Ethernet tīklos. RoCEv2, versija, ko izmanto mūsdienu datu centros, ir maršrutējama 3. līmeņa IP tīklos, un to standartizējaInfiniBand tirdzniecības asociācija. Šī maršrutējamība ļauj RoCE dabiski iekļauties Ethernet lapu{1}}mugurkaula dizainā, vienlaikus atkārtoti izmantojot pazīstamos NIC, slēdžus, optiku un uzraudzības rīkus.

Galvenais ir tas, ka RDMA transportēšanai tiek pieņemts gandrīz{0}}bezzudumu tīkls. Atmetiet paketi, un transportēšana atgriežas pie atkārtotas pārraidīšanas, kas samazina astes latentumu. Tātad RoCE ir nepieciešams Ethernet, kas atrodas zem tā, lai tas darbotos kā bezzudumu audums, un tas ir īpaši atkarīgs no divu mehānismu rūpīgas konfigurācijas:Prioritātes plūsmas kontrole (IEEE 802.1Qbb), kas aptur vienu satiksmes klasi, lai novērstu kritienus, unSkaidrs paziņojums par sastrēgumiem (ECN), kas agri signalizē par sastrēgumiem, tāpēc sūtītāji palēninās, pirms buferi pārplūst. Pievienojiet tai rindu pārvaldību, buferu piešķiršanu un QoS kartēšanu, un kļūs skaidrs, ka augstas veiktspējas-RoCE nav parasts Ethernet.

Labi paveikts, RoCE nodrošina pietiekami daudz latentuma un caurlaidspējas plašam ražošanas secinājumu pakalpojumu klāstam, un daudzas secinājumu veikšanas darba slodzes ir mazāk sinhronizētas nekā sadalītā apmācība, kas darbojas RoCE labā. Slikti veikts, tas rada pakešu zudumus, līnijas bloķēšanu, sastrēgumu izplatīšanos un nestabilas darbības traucējumus, kas viss tieši izpaužas kā pakalpojuma kvalitātes pazemināšanās.

InfiniBand vs RoCE latentums: kurš ir labāks p99 secinājumiem?

Abi materiāli var nodrošināt lielu{0}}joslas platumu un zemu{1}}latenci. Viņi atšķiras ar to, kā viņi tur nokļūst. InfiniBand ir deterministiska pēc konstrukcijas, tāpēc nervozitāte saglabājas zema pat jauktas slodzes gadījumā. RoCE to var pielāgot daudzām darba slodzēm, taču rezultāts ir atkarīgs no Ethernet auduma un tā, cik labi tas ir noregulēts.

No izvietošanas viedokļa patiesā ražošanas problēma reti ir maksimālais joslas platums. Jaukta, sērijveida, vairāku nomnieku{1}}datplūsmas laikā tas ir nervozs. RoCE audums, kas atbilst tīra, iperf-stila caurlaidspējas pārbaudei, joprojām var nesasniegt savu p99 mērķi, tiklīdz attēlā parādās mikrouzliesmojumi un strīdi. Šī plaisa starp laboratorijas etalonu un ražošanas SLA ir vieta, kur notiek visvairāk pārsteigumu.

InfiniBand mēdz būt pārāka, ja:

• Pakalpojumam ir stingri p99 vai p999 latentuma mērķi.
• Secinājumi aptver vairākus GPU mezglus ar tensoru vai konveijera paralēlismu vai izmanto dezagregētu priekšaizpildīšanu un atkodēšanu.
• GPU izmantošana ir ļoti jutīga pret tīkla aizkavi, tāpēc stendi ir dārgi.
• Klasteris veic nelielu skaitu augstas{0}}prioritātes darba slodžu, kur paredzamība ir svarīgāka par elastību.

RoCE parasti ir pietiekami labs, ja:

• Pieprasījumi lielākoties ir neatkarīgi, vai arī saite ir vaļīga.
• Darbs notiek mezglā vai nelielā mezglu skaitā.
• Pakešu caurlaidspēja ir svarīgāka nekā īpaši zems{0}}gales latentums.
• Komanda jau izmanto Ethernet, un izmaksu vai pārdevēja elastība ir prioritāte.
• Klasteris atbalsta vairākus nomniekus vai jauktas darba slodzes.

RoCE vs InfiniBand izmaksas: kas patiesībā nosaka TCO?

RoCE bieži tiek saukts par lētāku variantu, bet slēdža cena ir neliela attēla daļa. Reālistiskā salīdzinājumā ir aplūkota visa kopa: tīkla adapteri vai HCA, slēdži, optiskie moduļi, DAC, AOC un šķiedru kabeļi, statīva topoloģija, jauda un dzesēšana, tīkla operētājsistēma, uzraudzība un telemetrija, inženierijas laiks, rezerves daļas, pārdevēja atbalsts un ceļš uz 400G vai 800G.

InfiniBand parasti maksā augstākas sākotnējās izmaksas, jo tam ir nepieciešams īpašs audums un specializētas sastāvdaļas. Vidēs, kur deterministiska uzvedība ir galvenā prioritāte, tas var samazināt pielāgošanas un problēmu novēršanas centienus, kas nepieciešami Ethernet tīklam bez zudumiem. RoCE samazina aparatūras izmaksas, ja esošo Ethernet komplektu ar pareizo datu centra savienojuma atbalstu var izmantot atkārtoti, taču tas novirza pūles uz bezzudumu auduma projektēšanu, validēšanu, uzraudzību un problēmu novēršanu. Zemu-izmaksu RoCE dizains ātri kļūst dārgs, ja tas izraisa nestabilu latentumu un atkārtotu ugunsgrēka dzēšanu.

Ātrumam pieaugot, izmaksas un risks koncentrējas fiziskajā slānī. Pie 400G un 800G optika dominē gan rēķina, gan atteices režīmos. Lielākā daļa ātrgaitas pieslēgvietu-nolaižasQSFP-DD vai salīdzināmi formas faktori, un atbilst pa labiviena{0}}režīmu vai vairāku režīmu optikaJūsu faktiskā sasniedzamība ir viens no vienkāršākajiem veidiem, kā izvairīties no pārlieku tērēšanas, iegādājoties audumu, kam nav nepieciešami liela attāluma{0}}moduļi.

Atklāti sakot: RoCE nav lētākais risinājums, ja jūsu komandai trūkst bezzudumu{0}}Ethernet pieredzes. Aparatūras ietaupījumus var ātri apēst inženiertehniskās izmaksas, kas saistītas ar auduma stabilitāti.

Mērogojamība un darbības

Mērogojamība ir vairāk nekā portu skaits. Tas ietver to, cik viegli audums tiek izvietots, uzraudzīts, paplašināts un atgūts, ja kaut kas neizdodas.

InfiniBand ir spēcīga, ja klasteris jau no pirmās dienas ir izveidots kā īpaši{0}}augstas veiktspējas audums. Tas nodrošina konsekventu darbību plašā mērogā, taču tam ir nepieciešami īpaši InfiniBand-rīki, piemēram, apakštīkla pārvaldnieks un vienota auduma pārvaldība, kā arī darbinieki, kas ir apmierināti ar InfiniBand koncepcijām. Tas padara to dabiski piemērotu centralizētiem AI klasteriem, kas izveidoti, pamatojoties uz GPU darba slodzi.

RoCE iekļaujas Ethernet datu centru projektos: lapu{0}}mugurkaula topoloģijas, IP maršrutēšana, ECMP un pazīstamas uzraudzības metodes. Tieši tāpēc tas piesaista mākoņa-stilu un vairāku-nomnieku GPU infrastruktūru. Disciplīna, ko tā pieprasa, ir konsekvence. PFC, ECN, QoS, bufera pārvaldība un pārslodzes kontrole ir jāveido saskaņoti visā ceļā, jo neliela nepareiza konfigurācija vienā auduma stūrī var izplatīties un pasliktināt daudzas darba slodzes vienlaikus. Arī fiziskajam slānim ir jāmērogo tīri; augsts-blīvumsMPO un MTP maģistrāles un pārtraukuma kabeļisaglabā augošo lapu{0}}muguras audumu pārvaldāmu, nevis katru izplešanos pārvērš kabeļu mīklā.

Spoguļattēla -attēla punktu ir vērts norādīt: InfiniBand ir grūti attaisnot, ja secinājums lielākoties paliek vienā mezglā un audums gandrīz netiek izmantots.

Kurš tīkls katrai secinājumu darba slodzei

Kad RoCE ir pietiekami labs un kad tas kļūst riskants

RoCE ir pietiekami labs neatkarīgiem vai brīvi saistītiem pieprasījumiem, uz caurlaidspēju-orientētu pakešu darbu un vairāku-īrnieku klasteriem, kur varat pielāgot izolāciju, it īpaši, ja komanda brīvi pārvalda datu centra tilta Ethernet. Tas kļūst riskants īpašos, atpazīstamos veidos:

• PFC vētras.Pauzes kadri izplata augšup pa straumi un iesaldē trafiku, kam nebija nekāda sakara ar sākotnējo sastrēgumu.
• Līnijas bloķēšanas-galva-.Aptuvenā prioritāšu kartēšana ļauj vienai pārslogotai klasei apturēt citus, kas koplieto rindu.
• ECN nepareiza noregulēšana.Atzīmējiet pārāk vēlu, un jūs saņemat pilienus; atzīmējiet pārāk agresīvi, un jūs nevajadzīgi noregulējat caurlaidspēju.
• Mikrosprādziena sastrēgums.Apakš-sekunžu sērijveidā tiek pārpildīti buferi, taču tie paliek neredzami, lai uzraudzītu paraugus ar vienas-sekundes izšķirtspēju.
• Nekonsekventa konfigurācija.Neatbilstoši iestatījumi lapām un mugurkaulam izraisa sastrēgumu izplatīšanos, nevis saglabāšanos lokāli.

Neviens no tiem nav iemesls, lai izvairītos no RoCE. Tie ir iemesli, lai bezzudumu audumu veidotu saskaņoti no gala līdz galam un pirms mērogošanas ieguldīt smalkā-mikropārraidīšanas{2}}telemetrijā.

Kad InfiniBand ir tā vērts un kad pārpērkat

InfiniBand ir tā vērta, lai nodrošinātu stingrus p99 un p999 mērķus, cieši savienotu vairāku -mezglu apkalpošanu un misijai-kritisku darba slodzi, kur SLA sodi ir augsti, īpaši speciālā GPU klasterī, kas izveidots ap audumu. Jūs, iespējams, pārpērkat, ja secinājumi paliek mezglā, ja darbs ir orientēts uz caurlaidspēju{5}}, ja jums ir nepieciešams viens un tas pats materiāls, lai nodrošinātu arī krātuves, pārvaldību un vairāku-nomnieku mākoņdatošanas datplūsmu, vai ja jums vienkārši trūkst darbības jaudas, lai labi palaistu InfiniBand.

Izmaksas, kas nav norādītas slēdža piedāvājumā, ir reālas: ekosistēmas koncentrācija, pieskaitāmās izmaksas, kas saistītas ar otrā tīkla darbību paralēli Ethernet tīklam, un atsevišķa rezerves daļu, optikas un uzraudzības plānošana.

Kā pārbaudīt InfiniBand vs RoCE pirms izvēles

Neizlemiet par protokola reputāciju vai specifikāciju lapu. Izlemiet par etalonu, kas līdzinās ražošanai. Praktiska secība:

• Definējiet SLA astēs.Iestatiet p50, p95, p99 un p999 laika-līdz-pirmā marķiera-un starp-token latentumu, nevis tikai vidējo.
• Atskaņojiet reālistisku satiksmi.Izmantojiet sērijveida, jaukta izmēra modeļus un vairāku{0}}īrnieku vienlaicību, nevis vienu tīru straumi.
• Slodze līdz sastrēgumam.Piespiediet audumu, līdz tas ir patiesi sastrīdējies, pēc tam izmēriet GPU izmantošanu. Ja GPU tīklā apstājas, audums ir jūsu vājā vieta.
• Skatieties pareizos skaitītājus.Izsekojiet pauzes kadrus, ECN atzīmes, pakešu nomešanu, atkārtotas pārraides, portu kļūdu skaitītājus un 400G un 800G FEC kļūdas.
• Apstipriniet fizisko slāni.Tīras, pareizi uzstādītas šķiedras lietas;rūpīga šķiedras uzstādīšananovērš periodiskas, grūti{0}}diagnozējamas-kļūdas, kas ir pakļautas ātrgaitas saitēm.

Ja RoCE saglabā savu p99 mērķi reālistiskā, strīdīgā, vairāku{1}}īrnieku slodzē ar stabiliem skaitītājiem, tā ir spēcīga un rentabla izvēle. Ja tas iztur tikai tīrus vienas-straumes testus, jūs vēl neesat pārbaudījis lietu, kas nosaka jūsu SLA.

Biežākās kļūdas, no kurām jāizvairās

• Pieņemot, ka visi secinājumi ir viegla tīkla izveide.Daži secinājumi ir vienkārši un neatkarīgi; daži ir izplatīti, latentuma-jutīgi un joslas platuma-izsalkuši. Attiekties pret to visu kā vienkāršu, tas noved pie nepietiekami izbūvētas infrastruktūras.
• Salīdzinot tikai vidējo latentumu.Ražošanas secinājums ir atkarīgs no astes. Vienmēr novērtējiet p95, p99 un p999 reālistiskā satiksmē.
• RoCE tiek uzskatīts par plug{0}}and-Ethernet. High-performance RoCE needs deliberate lossless-fabric design, congestion control, and continuous observability.
• Izvēloties InfiniBand tikai tāpēc, ka tas ir ātrāks.Labākā veiktspējas iespēja ne vienmēr ir labākā biznesa iespēja. Ja darba slodzei nav nepieciešama deterministiska uzvedība, RoCE var nodrošināt labāku vērtību.
• Fiziskā slāņa ignorēšana.400G un 800G kabeļi, optika, savienotāji un šķiedru tīrība rada periodiskas kļūdas, kuras ir grūti atrast un dārgi novērst.

Bottom Line

AI secinājumiem ir derīgi gan InfiniBand, gan RoCE, un tie kalpo dažādām prioritātēm. Izvēlieties InfiniBand, ja jums ir nepieciešams viskonsekventākais zema-latences tīkls reāllai-, SLA-jutīgam vai cieši saistītam secinājumam. Izvēlieties RoCE, ja jums ir nepieciešams mērogojams, uz Ethernet{5}} balstīts, izmaksu-efektīvs audums pakešu secinājumiem, vairāku-nomnieku GPU pakalpojumi, RAG darba slodze un elastīga infrastruktūra.

Lēmumam jāsākas ar darba slodzi, latentuma mērķi, klastera mērogu, jūsu darbības iespējām un jaunināšanas ceļvedi, nevis ar protokolu. Ja jūsu klasterim ir stingri jātur p99 zem lielas slodzes, InfiniBand ir pelnījis nopietnu apsvērumu. Ja jūsu mērķis ir ekonomiski mērogot secinājumus visā Ethernet datu centrā, RoCE parasti ir praktiskāks ceļš. Jebkurā gadījumā pirms apņemšanās veiciet ražošanas etalonu-, piemēram, ielādi.