
Slēdžu buferi ir mazi atmiņas kopumi tīkla slēdža iekšpusē, kas glabā paketes uz brīdi, kad satiksme pienāk ātrāk, nekā ports to spēj nosūtīt. Klusā uzņēmuma LAN tas izklausās kā aparatūras zemsvītras piezīme. AI apmācības klasterī vai blīvā mākoņu sistēmā tie paši daži megabaiti atmiņa var izlemt, vai sadalītais darbs tiek pabeigts laikā vai apstājas, gaidot uz vienas pārslogotas saites.
Pamatideja ir vienkārša, taču tā liek pieņemt daudzus pirkšanas lēmumus: buferi ir vērtīgi, jo tie absorbē uzliesmojumus, tomērvairāk bufera automātiski nav labāks. Pareizais dizains ir atkarīgs no jūsu trafika modeļa, no tā, cik jutīga ir darba slodze pret latentumu vai zudumiem, no kuras pārslodzes{1}}kontroles metodes izmantojat, un no tā, kā slēdzis izplata buferatmiņu pa portiem un rindām. Slēdzis ar ļoti lielu buferi joprojām var darboties sliktāk nekā mazāks, ja šī atmiņa slēpj pārslodzes, nevis iztukšo to.
Šī rokasgrāmata ir uzrakstīta, izmantojot modeļus, kas parasti redzami RoCEv2 audumos un augsta{1}}blīvuma lapu{2} mugurkaula izvietojumos. Tajā ir paskaidrots, ko slēdžu buferi faktiski dara, kāpēc AI un GPU trafika tos rada atšķirīgi, kā bufera izvēle ietekmē latentumu un pakešu zudumu un ko pārbaudīt, pirms veicat pāreju.
Kas ir slēdžu buferi?
Slēdža buferis ir pagaidu pakešu atmiņa. Kad vairākas paketes ir jāiziet caur vienu un to pašu portu vienā un tajā pašā mirklī, slēdzis nevar tās visas pārsūtīt vienlaikus, tāpēc tas liek rindā un pārsūta tās, atbrīvojoties izvades portam.
Šī rinda notiek dažos paredzamos brīžos:
- Datplūsma no daudziem-uz vienu-, kur vairāki sūtītāji atlasa vienu un to pašu uztvērēju vai augšupsaiti
- Mikrouzliesmojumi, īsi un intensīvi lēcieni, kas ilgst no mikrosekundēm līdz dažām milisekundēm
- Interfeisa ātruma neatbilstība, piemēram, 400 G ports, kas baro lēnāku lejupvērsto saiti
- Pārāk abonētas saites un sinhronizēti pārrāvumi, kas tiek saņemti no daudziem avotiem vienlaikus
- Sastrēgumi vienā noteiktā izvades rindā vai satiksmes klasē
Ja nav pietiekami daudz izmantojamā bufera, slēdzis pamet paketes. Ja buferis ir pārāk aizņemts, paketes atrodas rindā un latentums palielinās. Labs bufera dizains dzīvo spriedzē starp šīm divām kļūmēm: absorbē reālus pārrāvumus, nepārvēršot rindu par pildspalvu.
Kāpēc AI un GPU satiksme noslogo atšķirīgi pārslēdz buferus
AI darba slodze neizskatās pēc tīmekļa vai biroja trafika. GPU klasteri ģenerē milzīgu austrumu-rietumu trafiku starp serveriem, un dalītās apmācības laikā komunikācija bieži tiek sinhronizēta: daudzi paātrinātāji apmainās ar datiem tajā pašā brīdī, tajā pašā virzienā, vienā un tajā pašā sistēmā.
Kolektīvās operācijas to pasliktina. Viss-samazināšanas solis, parametru sinhronizācija vai gradienta apmaiņa var sabrukt, veidojot daudz-līdz-vienu vai daudzus-uz-daudzu sēriju, kas mikrosekundēs sagrauj izejas rindu kopu. Tā kā uzliesmojumi ir īsi un cieši saistīti, tos ir viegli nepamanīt, veicot rupju uzraudzību. Piemēram, saite var nolasīt tikai aptuveni 40% vidējo lietojumu vienas-sekundes vai piecu-minūtes aptaujas logā, vienlaikus vienlaikus sasniedzot rindas ātrumu milisekundes, kas ir pietiekami ilgs laiks, lai aizpildītu rindu, atzīmētu ECN vai aktivizētu PFC pauzi.
Iemesls, kāpēc tas ir tik svarīgi AI audumos, ir darba atkarības struktūra. Izkliedētajam treniņam ir tendence pārvietoties ar tās lēnākās plūsmas ātrumu. Kad viens GPU mezgls gaida aizkavētu datplūsmu, pārējā klastera daļa bieži vien darbojas dīkstāvē, un dārgi paātrinātāji patērē laiku, gaidot tīklā, nevis skaitļojot. Bufera notikums, kas būtu neredzams tīmekļa līmenī, var tieši pagarināt darba pabeigšanas laiku šeit.
Šī austrumu{0}}rietumu struktūra ir arī iemesls, kāpēc fiziskās-slāņa izvēle ir saistīta ar bufera darbību. Augsta-blīvuma GPU aizmugursistēmas parasti ir savienotas araugsta{0}}blīvuma MTP/MPO maģistrāles kabeļistarp lapu un mugurkaulu, un saites ātrumu arvien vairāk nosaka jūsu izvēlētā optika400G un 800G moduļi, piemēram, QSFP-DD. Jo ātrākas un vairāk abonētas šīs saites, jo vairāk darba ir jāveic slēdža buferim un pārslodzes iestatījumiem sinhronizētā sērijveida sērijā.

Kā pārslēgšanas buferi ietekmē latentumu, pakešu zudumu un caurlaidspēju
Buferi veido veiktspēju trīs savienotos veidos.
Pārāk mazs buferis izraisa pakešu zudumu
Kad sērija pārsniedz pieejamo buferi, slēdzis{0}}nomet paketes. TCP{2}}bāzētā trafikā, kas aktivizē atkārtotas pārraides un samazina efektīvu caurlaidspēju. Uzglabāšanā un AI satiksmē tas var palielināt darba pabeigšanas laiku un padarīt veiktspēju neregulāru. Slazds ir tāds, ka vidējais joslas platums bieži izskatās labi: incast notikumā vairāki sūtītāji gandrīz vienā mirklī sasniedz vienu un to pašu izejas rindu, un rinda pārplūst, lai gan minūtes -pa-minūtes grafiks izskatās mierīgs.
Pārāk liela satiksme rindā palielina latentumu
Liels buferis nav brīva drošības rezerve. Ja paketes atrodas dziļā rindā, tajās uzkrājas rindas aizkave un tīkls ieslīdbuferuzpūšanās, kur pilieni ir reti, bet latentums ir augsts un neparedzams. Šis atteices režīms bijaDetalizēti dokumentējuši Getijs un Nikols ACM rindā, un tas ir tieši nepareizs rezultāts latentuma{0}}jutīgām GPU aizmugursistēmām, kur paredzamam zemam latentumam ir lielāka nozīme nekā atmiņas pārslodzes slēpšanai.
Slikta bufera piešķiršana rada netaisnību
Kopējais bufera lielums slēpj svarīgāko jautājumu: kā slēdzis sadala šo atmiņu starp portiem, rindām un satiksmes klasēm. Slēdzis var pārvadāt daudz kopējā bufera un joprojām darboties slikti, ja viens ports vai klase iztukšo koplietojamo baseinu un izsalkuši pārējos. AI un uzglabāšanas vidēs šī netaisnība palēnina visu darbu, jo lēnākā plūsma nosaka beigu laiku.

Koplietotais buferis pret speciālo buferi un dziļo buferi
Salīdzinot datu centra slēdžus, bufera arhitektūra ir svarīgāka nekā virsraksta ietilpības numurs.
Koplietots buferis
Koplietotais buferis ir kopīgs atmiņas kopums, ko porti un rindas izmanto pēc pieprasījuma. Tā kā neizmantoto atmiņu klusā vietā var aizdot visur, kur parādās sastrēgumi, koplietotie buferi labi absorbē sērijveidu datu centros, kur ports, kas vienu brīdi ir dīkstāvē, nākamajā var uzņemties sēriju. Viņu vājums ir tas, ka viņi paļaujas uz labu sadales loģiku, lai apturētu karstu rindu no baseina ēšanas.
Īpašs buferis
Īpašs buferis ir rezervēts noteiktam portam, rindai vai trafika klasei. Tas uzlabo izolāciju, jo viena pārslogota klase mazāk spēj patērēt visu, taču pārmērīga-rezervēšana tērē jaudu, jo klusā pieslēgvietai bloķēta atmiņa nav pieejama tur, kur faktiski notiek sērija.
Dziļais buferis
Dziļais{0}}bufera slēdzis nodrošina daudz lielāku buferi, kas paredzēts lieliem sērijām, liela attāluma{1}}saitēm vai pastāvīgām ātruma neatbilstībām. Padziļinātie buferi iegūst vietu dažās WAN, maršrutēšanas un apkopošanas lomās, kas bieži tiek apvienotas arviena -moda optiskā šķiedra garākām-attāluma saitēm, taču tie bieži ir nepareizi noklusējuma iestatījumi zema{0}}latences GPU aizmugursistēmai, kur tie mēdz maskēt sastrēgumus un palielināt aizkavi. Audumiem ar latentuma-jutīgumu paredzamā pārsūtīšana parasti pārspēj neapstrādāta bufera dziļumu.
Ātrs salīdzinājums
| Bufera veids | Spēks | Galvenais risks | Vislabāk piemērots |
|---|---|---|---|
| Kopīgots | Elastīga sprādziena absorbcija | Nepieciešama stabila sadales loģika | Dinamiskā datu centra trafika |
| Veltīts | Spēcīga izolācija starp klasēm | Iztērēta jauda, ja ir vairāk{0}}rezervēta | Satiksmes klases, kuras ir jāaizsargā |
| Dziļi | Absorbē ļoti lielus sprādzienus | Lielāks rindas latentums | WAN, maršrutēšana, īpaša apkopošana |
Slēdžu buferi un RoCEv2 pārslodzes kontrole: ECN un PFC
Lielākā daļa AI Ethernet tīklu darbojas ar RoCEv2 zema-latences, augstas{2}}caurlaidības RDMA nodrošināšanai. Šajos tīklos buferi un sastrēgumu kontrole nav atdalāmi: jūsu iestatītie bufera sliekšņi nosaka, kad ECN atzīmē un kad aktivizējas PFC.
ECN būtu savlaicīgi jāziņo par sastrēgumiem
Skaidrs paziņojums par sastrēgumiem (ECN), definēts RFC 3168, ļauj slēdzim atzīmēt paketes, kad veidojas sastrēgumi, nevis atmest tās. Uztvērējs atbalso šo signālu, tāpēc sūtītājs palēninās, pirms rinda ir pārpildīta. RoCEv2 audumos marķēšanas slieksnis ir regulēšanas lēmums ar reālām sekām: atzīmējiet pārāk vēlu un, kad avoti reaģē, rinda jau ir dziļa; atzīmējiet pārāk agri, un jums nevajadzēja padoties.
PFC ir jābūt drošības tīklam, nevis pirmajai reakcijai
Prioritārā{0}}plūsmas vadība (PFC), standartizēta kā IEEE 802.1Qbb, aptur prioritārās klases trafiku, lai novērstu zaudējumus bezzudumu rindās. Tas ir būtiski, taču tas ir neass instruments. Paļaujieties uz to pārāk bieži, un tas izplata sastrēgumus augšup pa straumi, radot pauzes vētras un līnijas bloķēšanu, kas soda plūsmas, kas nekad nav bijušas iemesls. Veselīgākais modelis ir labi izveidots: inMicrosoft liela mēroga{0}}RDMA darbs, kas ieviesa DCQCN, uz ātrumu- balstīta sastrēgumu kontrole, ko vada ECN, apstrādā parastos notikumus, kamēr PFC paliek rezervē kā pēdējā aizsardzības līnija, un šajā dokumentā ir arī sniegti konkrēti norādījumi par slēdžu bufera sliekšņu regulēšanu.
Bufera sliekšņiem ir jāatbilst darba slodzei
Sliekšņi, kas kopēti no atsauces dizaina, reti saglabā kontaktu ar reālu satiksmi. AI apmācība, secinājumi, krātuve un jauktas mākoņdatošanas slodzes notiek atšķirīgi, un pareizie ECN/PFC iestatījumi ir atkarīgi no pārraides ātruma, saites ātruma, pārrakstīšanās koeficienta, rindas dizaina un no tā, cik lielā mērā darba slodze pieļauj latentumu salīdzinājumā ar zaudējumiem. Uztveriet pārdevēja noklusējuma iestatījumus kā sākumpunktu, pēc tam pielāgojiet savu trafiku.
Bufera diagnostika{0}}Saistītās problēmas: simptomi, cēloņi un metrika
Kad lietojumprogrammas veiktspēja samazinās, bet informācijas paneļi izskatās zaļi, bufera spiediens ir izplatīts slēptais iemesls. Noderīgs pirmais solis ir nolasīt telemetriju cēloņu un seku secībā, nevis skatīties uz saites izmantošanu. Tālāk esošajā tabulā ir norādīti simptomi ar iespējamām bufera problēmām un metrika, kas tos apstiprina.
| Simptoms | Iespējamais buferi{0}}saistīts iemesls | Vispirms jāpārbauda metrika |
|---|---|---|
| Retranslācijas ar normālu vidējo izmantošanu | Microburst aste nokrīt izejas rindā | Rindas noslogojums ir augstāks, samazinās un izvades apjoms samazinās |
| Latenta palielināšanās ar dažiem vai bez kritumiem | Pārāk-dziļa rinda/buferizmērs | Latenta procentiles (p99), rindas dziļums |
| Caurlaides spēja sabrūk zem daudz{0}}uz-vienu | Incast pārpildīts koplietošanas baseins | Samazinās incast laikā, uz{0}}rindas noslogojumu |
| Periodiski apstāšanās visā klasterī | PFC aptur vētras, kas izplatās augšup pa straumi | PFC pauzes kadri un pauzes ilgums |
| Viena lēna plūsma velk visu darbu | Negodīga bufera sadale starp klasēm | Pēc-prioritārās noslodzes, karsto-rindu skaitītāji |
| GPU dīkstāvē gaida tīklā | Sastrēgumi, kas paplašina kolektīvās darbības | ECN atzīmes ātrums, plūsmas pabeigšanas laiks, GPU izmantošana |
Lasiet no augšas uz leju, dabiskā diagnostikas ķēde ir rindas dziļums, pēc tam ECN atzīmes, pēc tam atzīmes, pēc tam PFC pauzes kadri, tad plūsmas pabeigšanas laiks, pēc tam GPU izmantošana. Ja tīkla rādītāji ir tīri, bet darbi joprojām ir lēni, problēma, iespējams, ir augšpus auduma, nevis slēdža buferī.
Laboratorijas testi, kurus ir vērts palaist, un kā izskatās "nokārtots".
Pirms izvietošanas AI vai augstas veiktspējas{0}}veidnē, pārbaudiet ar trafiku, kas līdzinās jūsu reālajai darba slodzei, un definējiet katra testa izturēšanas kritēriju, nevis vienkārši vērojiet līniju ātrumu.
- Vairāki-uz-vienu raidījumu:ventilatora slīpums-proporcijā; caurlaide nozīmē, ka jūsu mērķa pārrakstīšanās gadījumā nav kritumu un ierobežots p99 latentums.
- Daudzi-uz-daudziem, visi-samazina stilu:vadīt sinhronizētus sērijus; caurlaide nozīmē godīgus pabeigšanas laikus visās plūsmās bez viena izkliedētāja.
- Jauktā īsā- un garā-plūsma:palaist zilonis un pele plūst kopā; caurlaide nozīmē, ka īsas plūsmas saglabā zemu latentumu, bet garas plūsmas joprojām aizpilda saiti.
- RoCEv2 pārslodze ar ECN/PFC validāciju:apstipriniet ECN atzīmes pirms PFC pauzes; pass nozīmē, ka ECN veic darbu, un PFC aktivizējas reti.
- Pārrakstīšanās un kļūmju atkārtošanās:nomest saiti mid{0}}burst; pass nozīmē graciozu maršruta maiņu bez kritiena vai latentuma klints.
Mērķis nav pierādīt līnijas{0}}ātruma caurlaidību dīkstāves slēdzim. Tas ir, lai redzētu, kā slēdzis darbojas, kad satiksme kļūst intensīva, sinhronizēta un netaisnīga, un tas ir vienīgais stāvoklis, kam ir nozīme ražošanā. Plānojot kabeļus un savienotājus, lai atbalstītu šīs mēroga pārbaudes,MTP un MPO iespēju inženiertehniskais salīdzinājumsir noderīgs pavadonis.
Dziļais-buferis vai zems-latences slēdzis?
Nav viena labākā slēdža, ir tikai tas, kas vislabāk atbilst konkrētajam audumam. Izmantojiet tālāk redzamo tabulu, lai ātri sašaurinātu izvēli, pēc tam apstipriniet to ar iepriekšminētajiem laboratorijas testiem.
| Ja jūsu audums ir | Nosakiet prioritāti | Bufera slīpums |
|---|---|---|
| AI GPU aizmugure (sinhronizēti sērijveidā, latentums{0}}kritisks) | Zems latentums, spēcīga telemetrija, ECN/PFC regulēšana | Zems-latents, koplietots ar labu sadalījumu |
| Uzglabāšana / bez zudumiem | Taisnīgums, darba pabeigšanas laiks, latentums zem slodzes | Mērens, ar labi{0}}izolētām klasēm |
| Jaukts mākonis (dažādi saišu ātrumi) | Elastīga sadale, klases izolācija, redzamība | Kopīgs un elastīgs |
| WAN /tāls{0}}attālums | Absorbē lielus pārrāvumus un ātruma neatbilstību | Dziļais buferis (joprojām tiek pārbaudīts, salīdzinot ar latentuma mērķiem) |
Sarežģītākais gadījums ir jauktas mākoņdatnes, jo tās bieži apvieno ātrākas{0}}augšupsaites ar lēnākām piekļuves saitēm. Ja plānojat šos piekļuves ātrumus, skatiet ceļvedi10GBASE-T un SFP+ 10GbE saskarnesvar palīdzēt jums plānot, kur notiks ātruma pārejas un līdz ar to arī buferizācijas spiediens.
FAQ
J: Vai lielāki slēdžu buferi vienmēr ir labāki?
A: Nē. Lielāki buferi samazina pakešu samazināšanos sērijveidā, taču tie arī ļauj paketēm ilgāk stāvēt rindā, kas palielina latentumu un var izraisīt bufera uzpūšanos. Attiecībā uz latentuma-jutīgu AI un uzglabāšanas materiāliem mērens, labi-pārvaldīts buferis parasti pārspēj ļoti dziļu buferi. Labākais buferis ir tāda izmēra, kas ir paredzēts, lai absorbētu jūsu reālos sērijus, nepievienojot novēršamu kavēšanos.
J: Kāda ir atšķirība starp koplietoto buferi un speciālo buferi?
A: Koplietojamais buferis ir kopīgs pūls, no kura jebkura porta vai rinda var izmantot, kad tas ir nepieciešams, kas padara to efektīvu neparedzamu pārrāvumu absorbēšanā. Īpašs buferis ir rezervēts noteiktam portam, rindai vai klasei, kas uzlabo izolāciju, bet var tērēt atmiņu, ja rezervētā vieta ir dīkstāvē. Daudzi datu centru slēdži izmanto abu hibrīdu.
J: Kāpēc mikrouzliesmojumi izraisa pakešu zudumu pat tad, ja izmantošana šķiet zema?
A: Standarta uzraudzība vidēji aprēķina trafiku sekundēs vai minūtēs, tādējādi izlīdzinot lēcienus. Mikrouzlējums var sasniegt līnijas ātrumu tikai dažas milisekundes, aizpildot izejas rindu un piespiežot atkāpties, savukārt vidējā diagramma joprojām parāda saiti kā viegli noslogotu. Lai skatītu šos notikumus, jums ir nepieciešama milisekundes-mēroga rinda un nomešanas telemetrija.
J: Vai AI datu centriem ir nepieciešami dziļi{0}}bufera slēdži?
A: Parasti ne GPU aizmugursistēmā. Dziļie buferi mēdz maskēt sastrēgumus un palielināt latentumu, kas ir pretrunā ar paredzamo, zemo{1}}latences pārsūtīšanu, kas nepieciešama izplatītajai apmācībai. Dziļie buferi ir piemērotāki WAN, maršrutēšanas vai apkopošanas lomām. AI klasteriem telemetrijai, godīgai sadalei un labi-noregulētai ECN/PFC parasti ir lielāka nozīme nekā neapstrādāta bufera dziļumam.
J: Kā slēdža buferi ietekmē RoCEv2 veiktspēju?
A: RoCEv2 bufera sliekšņi nosaka, kad ECN atzīmē paketes un kad PFC aptur prioritāti. Labi iestatīts, ECN palēnina sūtītājus agri un saglabā rindas seklas; slikti iestatīts, rindas pārplūst vai PFC aktivizējas pārāk bieži un izplata sastrēgumus. Bufera sliekšņu pielāgošana darba slodzei ir viens no svarīgākajiem soļiem, lai panāktu labu RoCEv2 darbību.
J: Kādi bufera rādītāji man jāpārrauga ražošanā?
A. Skatieties rindas noslogojumu, izejas un izvades samazināšanos, ECN atzīmju ātrumu un PFC pauzes kadrus un ilgumu, pēc tam pievienojiet tos lietojumprogrammas signāliem, piemēram, plūsmas pabeigšanas laikam un AI audumiem GPU izmantošanai. Ja lietojumprogrammas veiktspēja ir slikta, bet vidējā saites izmantošana izskatās normāla, iespējams, ir aizdomas par slēptu bufera spiedienu un mikrouzliesmojumu.
Key Takeaways
Slēdžu buferiem ir izšķiroša nozīme AI un datu centru tīkla veiktspējā, taču jauda vien nenosaka, vai slēdzis ir pareizā izvēle. Labs bufera dizains absorbē reālistiskus pārrāvumus, ierobežo pakešu zudumus, saglabā paredzamu latentumu, atbalsta ECN un PFC signalizāciju un nodrošina pietiekami daudz telemetrijas problēmu novēršanai. AI datu centriem novērtējiet bufera arhitektūru kopā ar pārslodzes kontroli, slodzes līdzsvarošanu, rindu pārvaldību un reālās darba slodzes uzvedību, nevis kā atsevišķu numuru specifikāciju lapā.
Pirms apņemšanās pārbaudiet slēdzi incast, mikroviļņu un pārslodzes apstākļos un skatieties, kā tas koplieto atmiņu, kad satiksme kļūst negodīga. Labākais buferis nav lielākais. Tā ir arhitektūra, kas nodrošina, ka jūsu lietojumprogrammas ir ātras, godīgas un paredzamas reālā datplūsmā.