
100 G mugurkaula-lapu audums ir viens no uzticamākajiem veidiem, kā modernā datu centrā savienot 25 G serverus, 100 G augšupsaites, krātuves kopas un austrumu{4}}rietumu-lielo darba slodzi. QSFP28 pievilcība ir tā elastība: viens ports var pārnēsāt vietējo 100G saiti vai sadalīties četros 25G servera savienojumos, tāpēc viens slēdzis var apkalpot gan piekļuves malu, gan auduma kodolu.
Ātrie slēdži ir vienkāršā daļa. 100 G dizains dzīvo vai mirst, pamatojoties uz lēmumiem, kas pieņemti pirms pirkuma pasūtījuma: kā tiek piešķirts katrs ports, kā izskatās pārmērīgas abonēšanas koeficients normālos un atteices apstākļos, kura optika atbilst reālajam kabeļa garumam, cik daudz siltuma šī optika pievieno un vai audums var pieaugt līdz 400 G bez iekrāvēja jaunināšanas.
Šī rokasgrāmata ir pakalpojumu sniedzēju-neitrāla plānošanas atsauce tīkla un infrastruktūras komandām. Tālāk sniegtie skaitļi atbilst pašreizējām IEEE 802.3 Ethernet specifikācijām un attiecīgajiem optisko vairāku avotu līgumiem, taču katram slēdžam un raiduztvērējam ir sava datu lapa, tāpēc pārbaudiet precīzus iegādātās aparatūras skaitļus.
Kā lasīt piemērus šajā rokasgrāmatā.Ja vien nav norādīts citādi, tie pieņem vienu{0}}vietējos serverus ar vienu 25 G NIC katrā, 48 resursa portiem katrā lapā, 100 G lapu-uz-augšupsaites, pilnu tīklu, kurā katra lapa savienojas ar katru mugurkaulu, un ir iespējota pārsūtīšanas kļūdu labošana, ja to pieprasa optika. Divkāršs-homing, ātrāks NIC vai atšķirīgs portu skaits mainīs katru nākamo numuru.
Kas ir 100 G mugurkaula{1}}lapu tīkls?
Spine{0}}leaf ir divu-līmeņu datu centra arhitektūra, kas veidota no lapu slēdžiem un mugurkaula slēdžiem. Lapu slēdži atrodas katra plaukta augšpusē un nodrošina servera -pieslēgvietas, kā arī augšupsaites uz mugurkaulu. Mugurkaula slēdži veido ātrgaitas{5}}mugurkaulu. Katra lapa savienojas ar katru mugurkaulu, tāpēc satiksme starp statīviem pārvietojas no lapas uz muguru uz lapu pa vienādu-garuma ceļu.
Dizains ir populārs, jo tas nodrošina:
- Paredzams, vienāds ceļa garums starp jebkuriem diviem statīviem
- Vietējais atbalsts intensīvai austrumu{0}}rietumu satiksmei
- Visas augšupsaites ir aktīvas, izmantojot ECMP, nevis tiek bloķētas ar aptverošo koku
- Vienkārša horizontāla mērogošana - pievienojiet lapas portiem, pievienojiet muguriņas ietilpībai
100 G audumā lapas{1}}uz-mugurkaula saites darbojas ar 100 G, savukārt servera-pieslēgvietas darbojas ar 10 G, 25 G, 50 G vai 100 G atkarībā no darba slodzes. Mūsdienās 25G piekļuve ar 100G augšupsaites ir visizplatītākā uzņēmumu kombinācija.

Fiziskais dizains pret loģisko dizainu
"Tīkla dizains" aptver divus slāņus, kurus ir viegli apvienot. Šajā rokasgrāmatā galvenā uzmanība ir pievērsta fiziskajam un jaudas līmenim - pieslēgvietas, optika, pārmērīga abonēšana, kabeļi -, jo tas ir tas, ko jūs apņematies, pērkot aparatūru. Bet loģiskais slānis izlemj, kā audums virza satiksmi, un tas veido vairākas fiziskas izvēles.
Fiziskajā pusē sēž slēdža un portu izvēle, NIC ātrumi, pārmērīga abonēšana, optika, kabeļi, jauda un dzesēšana. Loģiskā pusē ir ECMP slodzes{1}}līdzsvarošana starp augšupsaitēm; pārklājums, piemēram, VXLAN ar BGP EVPN vadības plakni vairāku -īrnieku 2. un 3. slānim virs maršrutēta apakšklāja; dual-homing ar MLAG vai MC-LAG un LACP piekļuves malā; un domēna lieluma-neveiksme. RDMA audumiem jums ir arī jāizveido gandrīz-bezzudumu tīkls, kas aprakstīts tālāk. Agri nosakiet loģisko modeli, jo tas ietekmē augšupsaišu skaitu, ECMP platumam nepieciešamo muguriņu skaitu un to, vai lapas tiek izvietotas kā MLAG pāri.
1 -. darbība. Definējiet servera ātrumu un darba slodzi
Sāciet ar darba slodzi, nevis optiku. Vispārējam virtualizācijas klasterim, krātuves struktūrai un AI apmācības blokam ir ļoti atšķirīgas vajadzības, un pareizais dizains seko satiksmei.
25G serveri ar 100G augšupsaites
Lielākajai daļai uzņēmumu un privāto-mākoņa vidi 25 G piekļuve ar 100 G lapas-uz{4}}spine augšupsaites ir lieliska vieta: liels lēciens pāri 10 G, vienlaikus saglabājot saprātīgas NIC, kabeļa un slēdža izmaksas. Parastā versijā ir savienotas 25 G lejupsaites, 100 G augšupsaites un attiecība 2:1 līdz 3:1 vispārējiem aprēķiniem, ar mazāku pārrakstīšanu, kas rezervēta krātuves un latentuma{13}sensitīvajiem līmeņiem. Tas ir piemērots virtualizācijai, privātajam mākonim, tīmekļa līmeņiem un lielākajai daļai uzņēmuma datu centru.
Native 100G uzglabāšanai, AI un HPC
Dažām darba slodzēm serverim ir nepieciešams 100 G vietējais: izkliedētā un NVMe-atmiņa, mākslīgā intelekta un mašīnmācību apmācība, HPC, liela mēroga-analītika un zema-latences RDMA. Šeit pārmērīgai abonēšanai vajadzētu būt zemai - bieži vien ne-bloķējošai vai tuvu tam -, jo problēma ir trafika modelis, nevis tikai apjoms.
AI, HPC un RDMA darba slodze ģenerē blīvu, sinhronizētu trafiku no visiem -uz-visiem austrumiem-rietumiem: daudzi mezgli pārraida uz daudziem mezgliem vienā un tajā pašā brīdī, tāpēc statistiskā izlīdzināšana, kas ietaupa jūs no virtualizācijas, vairs netiek piemērota. RDMA, izmantojot konverģēto Ethernet (RoCE), pievieno otru ierobežojumu, jo tas sagaida gandrīz-bezzudumu audumu, kas praksē nozīmē prioritāro plūsmas kontroli (PFC) un nepārprotamo pārslodzes paziņojumu (ECN), kas noregulēti no vienas puses līdz galam. Audums, kas nomet kadrus sastrēgumu laikā, novēros RoCE veiktspējas sabrukumu, tāpēc šīs kopas parasti tiek veidotas 1:1 ar rūpīgu bufera un pārslodzes konfigurāciju.
2 -. darbība. Kā aprēķināt lapu un mugurkaula slēdža portus 100 G audumam
Ostas plānošana sākas ar lapu, nevis mugurkaulu. Strādājiet uz āru no serveriem:
- Uzskaitiet servera{0}}pieslēgvietas katrā statīvā.
- Izlemiet, vai katrs ir vietējais 25 G, 100 G vai izlaiduma josla.
- Rezervējiet QSFP28 portus mugurkaula augšupsaites.
- Pievienojiet rezerves portus izaugsmei, dublēšanai, pārbaudei un nomaiņai.
- Pārrēķināt pārmērīgu abonementu pēc pārtraukuma piešķiršanas, nevis pirms tam.
Uzskaitiet servera -pieslēgvietas
Katram statīvam norādiet serveru skaitu, NIC ātrumu, NIC vienam serverim, vienam{0}} vai diviem-mājas tīklam un nepieciešamās rezerves daļas. Plauktā ar 48 serveriem ar vienu 25G NIC katrā ir nepieciešami 48 resursdatora porti. Divkāršs-savietojiet šos serverus uz lapu pāri, un piekļuves portu skaits pāri dubultojas.
Rezervējiet augšupsaites portus un skatieties dubulto{0}}skaitījumu
Pēc resursdatora portiem rezervējiet QSFP28 portus mugurkaulam. Šeit slēpjas visizplatītākā kļūda: ja 4x25G izlaušanai tiek izmantoti tie paši QSFP28 porti, tie vairs nav pieejami kā augšupsaites. Vienīgā lielākā plānošanas kļūda ir nevis nepareiza 100 G augšupsaišu uzskaite, bet gan augšsaites pieslēgvietu pārvērtēšana, kas paliek pāri, tiklīdz tās ir ieēdušas. Piešķiriet sadalījumu pirms pārsnieguma matemātikas, vai arī jūsu aprēķinātā attiecība ir fikcija.
Nostrādāts piemērs palīdz. Paņemiet parastu 1U lapu ar 48 SFP28 resursdatora portiem un 8 QSFP28 portiem:
| Ostas grupa | Loma | Jauda |
|---|---|---|
| 48 x 25 G (SFP28) | Viena{0}}mājas servera piekļuve | 1,200G |
| 6 x 100 G (QSFP28) | Mugurkaula augšupsaites | 600G |
| 2 x 100 G (QSFP28) | Rezervēts: augšana, uzglabāšana vai rezerves | - |
Ar sešiem augšupsaitiem, kas nodrošina 1200 G piekļuves trafiku, lapa darbojas ar 2:1, un divi QSFP28 porti paliek rezervē. Piešķiriet katram portam vienu, skaidru lomu izklājlapā, pirms izvēlaties citu izmēru.
Atstājiet brīvu jaudu
Nelietojiet katru porciju pirmajā dienā. Rezervējiet vietu jauniem serveriem, papildu mugurām, pagaidu testa saitēm, neveiksmīgiem-portu mijmaiņas darījumiem, pārraudzības pieskārieniem un migrācijai. Nedaudz neizmantota jauda ir daudz lētāka nekā pārprojektēšana.
3 -. darbība. Aprēķiniet pārsūtīšanu, ieskaitot N-1
Virsabonēšana salīdzina kopējo servera{0}}joslas platumu lapā ar tā kopējo augšupsaites joslas platumu ar mugurkaulu:
Virsabonēšanas koeficients=kopējais lejupsaites joslas platums / kopējais augšupsaites joslas platums
Augšpusē esošajai lapai 48 x 25 G=1, 200 G uz leju un 6 x 100 G=600G augšup, iegūstot 1200/600=2:1. Tas nozīmē, ka teorētiskais piekļuves joslas platums ir divreiz lielāks par augšupsaites joslas platumu -, kas parasti ir piemērots vispārējiem aprēķiniem, kur reti visi serveri pārraida ar līnijas ātrumu vienlaikus, taču tas ir reāls ierobežojums krātuvei, AI, HPC un RDMA.
Vienmēr pārbaudiet N-1 korpusu
Audums var izskatīties veselīgs normālā darbībā un aizrīties kļūmes laikā. Apsveriet lapu ar astoņām 100 G augšupsaitēm, kas vienmērīgi sadalītas pa četriem muguriņiem - divi uz mugurkaulu, kopā 800 G, tāpēc 1200 G piekļuves ir 1,5:1. Zaudējiet vienu mugurkaulu, un lapa nokrīt divus augšupvērstus līdz 600 G, paaugstinot attiecību uz 2:1 uz pārtraukuma laiku. Ja jūsu mērķis nav sliktāks par 2:1 pat neveiksmes gadījumā, jums jāsāk tuvu 1,5:1. Aprēķiniet gan normālo attiecību, gan N-1 attiecību pēc viena mugurkaula vai augšupsaites zaudēšanas; otrs numurs ir tas, kas kož apkopes laikā.

Plānošanas diapazoni pēc darba slodzes
Nav universāla koeficienta, tāpēc uzskatiet tālāk norādīto kā plānošanas diapazonu, nevis standartu, un pārbaudiet, izmantojot izmērīto trafiku, kur varat:
| Darba slodze | Dizaina virziens |
|---|---|
| AI / HPC / RDMA | 1:1 vai gandrīz bez-bloķēšanas |
| Sadalītā krātuve | 1:1 līdz 2:1 |
| Vispārējā virtualizācija | 2:1 līdz 3:1 |
| Tīmekļa / lietojumprogrammu līmeņi | 3:1 vai vairāk, ja satiksme ir paredzama |
| Izstrādātājs / tests | Izmaksu{0}}optimizētās attiecības ir pieņemamas |
Veicot jaunināšanu, pārskatiet pašreizējo augšupsaites izmantošanu, maksimālo un austrumu{0}}rietumu modeļus, krātuves plūsmas un rezerves logus, pirms apņematies ievērot attiecību.
Solis 4 - Izvēlieties QSFP28 optiku un kabeļus
QSFP{0}}G saskarnes standartizē IEEE 802.3 -802.3bm grozījumspievienots 100 GBASE-SR4, kā arī viena-režīms LR4 PHY. Atlasiet optiku pēc attāluma, šķiedru veida, savienotāja, jaudas un slēdžu savietojamības un nepieļaujiet noklusējuma garāko sasniedzamību: sasniedzamība, kas jums nav nepieciešama, parasti nozīmē izmaksas un jaudu, kas jums nav nepieciešama. Saskaņojiet moduli ar izpildi ar saprātīgu rezervi.

DAC un AOC īsām servera saitēm
Statiņa un blakus esošajiem{1}}savienojumiem ir praktiski piemēroti QSFP28 tiešās-vara pievienošanas kabeļi (DAC) un aktīvie optiskie kabeļi (AOC). Pasīvā DAC ir piemērota īsākajiem apiņiem - dažus metrus - ar viszemākajām izmaksām un jaudu, savukārt AOC paplašina sasniedzamību un ir vieglāks un elastīgāks, ja vara masa kļūst par problēmu. 25 G piekļuvei QSFP28-4x SFP28 pārtraukuma DAC vai AOC ir izplatīta, ja slēdzis atbalsta pārtraukumu.
100 GBASE-SR4 īsiem daudzrežīmu augšupsaites
SR4 pārnēsā 100 Gastoņas paralēlas daudzmodu šķiedrasizmantojot MPO/MTP savienotāju, kas padara to par rentablu{0}}izvēli īsām lapiņām-līdz{2}}mugurkaula rindām. Tā sasniedzamība ir atkarīga no šķiedras pakāpes - aptuveni 70 m uz OM3 un 100 m uz OM4 -, tāpēc ir vērts zināt sasniedzamību, ko varat sagaidīt noOM3, OM4 un OM5 daudzmodu šķiedratavā stāvā. Galvenais plānošanas ierobežojums ir paralēlais kabeļu savienojums: MPO lāpīšana un polaritāte ir jāizstrādā iepriekš.
CWDM4 vai FR vienam režīmam{1}}nobrauc aptuveni 2 km
Inter-rindu, starp-telpu vai starp-zāļu saitēm labāk der viena-režīmu optika, piemēram, CWDM4 vai FR. The100G CWDM4 MSAnosaka 2 km sasniedzamību pāri vienam vienmoda šķiedru pārim ar duplekso LC savienotāju un FEC. Tā kā paralēlā MPO vietā tiek izmantota dupleksā šķiedra, CWDM4 un FR optika bieži vien nonāk vienā-režīmā tīrāk nekā SR4 -, un šajos attālumos ir iespēja izvēlēties starpOS1 un OS2 viena -moda šķiedrasāk ietekmēt jūsu zaudējumu budžetu. Īsāki viena režīma -režīmi, piemēram, DR, aptver aptuveni 500 m, kur tas ir viss, kas jums nepieciešams.
100 GBASE-LR4 universitātes pilsētiņai un DCI
LR4 ir tāls-izsniedzamības opcija, kas nodrošina 100 Glīdz aptuveni 10 km pa duplekso vienmoda{1}}šķiedruuniversitātes pilsētiņas, ēkas-uz-ēkai vai datu-centra-savienojuma saitēm. Izmantojiet to tikai tad, ja attālums to patiešām prasa; garas-sasniedzamības optika uz īsiem intra-datu-centra apiņiem vienkārši palielina izmaksas, jaudu un siltumu, neuzlabojot audumu.
QSFP{0}}G optikas salīdzinājums
Tabulā ir apkopots, kur katra opcija atbilst. Uztveriet sasniedzamības kā tipiskus plānošanas skaitļus un katra moduļa datu lapā apstipriniet precīzus skaitļus, šķiedras pakāpi un FEC prasības.
| Opcija | Mediju / šķiedras | Savienotājs | Tipiska sasniedzamība | Kur tas der |
|---|---|---|---|---|
| QSFP28 DAC (pasīvais varš) | Twinax varš | Integrēts | ~1–3 m | In-serveris vai no-līdz-lapai |
| QSFP28 AOC | Daudzrežīms (integrēts) | Integrēts | ~līdz 30 m | Blakus esošie{0}}statīva serveri, īsas saites |
| 100 GBASE-SR4 | Paralēli daudzmodu, 8 šķiedras (OM3/OM4) | MPO/MTP | ~70 m OM3 / 100 m OM4 | Īsa-rindas lapa-līdz-mugurkaulam |
| 100G CWDM4 | Divpusējais viens{0}}režīms | LC | līdz ~2 km | Starp-rindas/starp-zāles augšupsaites |
| 100 GBASE-FR/DR | Divpusējais viens{0}}režīms | LC | ~500 m (DR) līdz ~ 2 km (FR) | Vidēji vienā{0}}režīmā darbojas |
| 100 GBASE-LR4 | Divpusējais viens{0}}režīms | LC | līdz ~10 km | Campus/ēka-līdz-ēkai/DCI |
Apstrādātie piemēri: mazi, vidēji un lieli audumi
Tie ir vienkāršoti plānošanas modeļi, nevis rasējumi. Mugurkaula skaits parasti tiek izvēlēts, lai vienmērīgi sadalītu augšupsaites un iestatītu ECMP platumu: divi muguriņas ir praktiskais minimums atlaišanai, četri nodrošina smalkāku N-1 granularitāti un labāku slodzes izkliedi, un astoņi ir piemēroti lieliem audumiem. Lapu skaitīšanas skalas ar nepieciešamajiem servera portiem.
Mazs audums
- 8 lapu slēdži
- 2 mugurkaula slēdži
- 48 x 25 G servera porti vienā lapā
- 4 x 100 G augšupsaites uz katru lapu
- 384 viena-vietēja 25G servera porti
Vienai lapai: 1200 G uz leju, 400 G uz augšu, tātad 3:1. Piemērots vispārējiem aprēķiniem, bet ierobežots lielai uzglabāšanai vai AI. Pievienojiet augšupsaites vai apgrieziet piekļuvi katrai lapai, ja nepieciešama mazāka attiecība.
Vidējs audums
- 16 lapu slēdži
- 4 mugurkaula slēdži
- 48 x 25 G servera porti vienā lapā
- 6 x 100 G augšupsaites uz katru lapu
- 768 viena-vietēja 25G servera porti
Vienai lapai: 1200 G uz leju, 600 G uz augšu, tātad 2:1. Stabils līdzsvars virtualizācijai un uzņēmuma darba slodzei, un četri muguriņi izplata ECMP labāk nekā divi.
Liels audums
- 32 lapu slēdži
- 8 mugurkaula slēdži
- 48 x 25 G servera porti vienā lapā
- 8 x 100 G augšupsaites uz katru lapu
- 1536 viena-vietēja 25G servera porti
Vienai lapai: 1200 G uz leju, 800 G uz augšu, tātad 1,5:1. Vairāk augšsaites telpas, bet vairāk optikas, šķiedru, izmaksu, jaudas un kabeļu pārvaldīšanai. Šajā mērogā dokumentācija ir daļa no dizaina: marķējums, portu kartes, polaritāte, rezerves optika, gaisa plūsma un uzraudzība ir jāplāno pirms uzstādīšanas.
QSFP28 Breakout plānošana (100 G līdz 4 x 25 G)
Breakout ir visnoderīgākā un visvairāk pārprastā QSFP28 dizaina daļa. Ja to atļauj slēdzis, kabelis un konfigurācija, viens QSFP28 ports tiek sadalīts četrās 25G SFP28 saitēs, savienojot četrus 25G serverus no viena 100G porta. Tas nopelna savu vietu, ja jums ir nepieciešams augsts 25G blīvums, ir daudz QSFP28 portu, vēlaties samazināt izmaksas par savienojumu ar serveri vai veidojat pārejas 25G/100G audumu, izmantojot QSFP28 uz 4x SFP28 DAC, AOC vai AOC.MTP/MPO pārtraukuma kabeļiatkarībā no attāluma.
Galvenais ir tas, ka izlaušanās patērē QSFP28 portus. Ja 32-portu QSFP28 slēdzis atvēl 16 portus 4 x 25 G izlaušanai, šie 16 porti atbalsta 64 serverus, taču tikai 16 QSFP28 porti paliek augšupsaišu, krātuvju, starpsavienojumu un rezerves daļu nodrošināšanai. Īkšķis ir tāds, ka vispirms jāskaita izlaušanās porti, pēc tam jāskaita, kas atlicis augšupsaitēm.
Pirms apņematies, apstipriniet dažas lietas un savlaicīgi izlemiet, vai katram skrējienam ir jābūt abagāžnieks vai izlaušanas bloks:
- Kuri porti atbalsta izlaušanos, un vai ir portu{0}}grupu ierobežojumi?
- Vai, iespējojot izlaušanos, tiek atspējoti blakus esošie porti?
- Vai slēdža operētājsistēma atbalsta jums nepieciešamo režīmu?
- DAC, AOC vai breakout optika katram braucienam?
- Vai visas četras joslas ir vajadzīgas tagad, vai tikai vēlāk?
- Kā izlaušanās ietekmēs turpmāko pāreju uz vietējiem 100G serveriem?
Strāvas, dzesēšanas un kabeļu pārvaldība
100 G audums rada vairāk nekā joslas platumu -, tas rada siltumu, gaisa plūsmas slodzi un kabeļa blīvumu. Enerģijas budžetā jāietver slēdžu šasija un ventilatori, QSFP28 optiskie moduļi (un DAC vai AOC, ja tiek izmantoti), lieki izejmateriāli, statīva līmeņa ietilpība un izaugsmes rezerve. Dzesēšanai ir jāņem vērā karsto- un auksto-eju izkārtojums, konsekventa gaisa plūsma no priekšpuses-uz-vai aizmugure-priekšpuse, noslēdzošie paneļi, kabeļu šķēršļi, apkārtējās vides temperatūra un moduļa{12}}temperatūras uzraudzība, jo mugurkauls ir reāla termiskā slodze.
Kabeļu ierīkošana ātri nosakās: 16 lapas līdz 4 mugurkauliem jau ir 64 lapu-līdz-saites, no kurām katra ir jāmarķē, jānovirza, jāpārbauda un jādokumentē. Pilna-tīkla audumu ir daudz vieglāk uzbūvēt un uzturēt ar iepriekš-nobeigtuMPO/MTP maģistrāles kabeļinekā ar lauka{0}}izbeigto šķiedru. Komandām arī iepriekš jāvienojas par savienotāju un polaritātes konvencijām; uzpraktiskās atšķirības starp MTP un MPOir vērts apstiprināt pirms pasūtīšanas. Pavirša dokumentācija nemaksā neko pirmajā dienā un ļoti dārgi pirmajā pārtraukumā.
Projektēšana 400 G jauninājumam
Noformējiet audumu ar reālistisku jaunināšanas ceļu. Pirmajā dienā jums nav nepieciešami 400 G visur, taču jums vajadzētu izvairīties no izvēlēm, kas vēlāk padara pārvietošanos sāpīgu. Sāciet domāt par 400 G gatavību, kad mugurkaula augšupsaites jau ir ļoti noslogotas, kad papildu 100 G muguriņu pievienošana kļūst neērta, kad ECMP ceļu skaits tuvojas platformas ierobežojumiem vai kad AI, krātuves vai austrumu-rietumu izaugsme paātrinās.
Parastā stratēģija ir vispirms jaunināt mugurkaulu: lapas saglabā savas 100 G augšupsaites, savukārt lielākas-jaudas mugurkaula -, izmantojot portus, piemēram,QSFP-DD- palielina brīvību, bieži vien ar 400 G pieslēgvietām, kas izplūst līdz 4 x 100 G atpakaļ esošajām lapām. Plašāku trajektoriju nosaka nozare:Ethernet alianses ceļvedistagad darbojas 400 G, 800 G un tālāk, un to galvenokārt nodrošina AI. Novērtējot slēdžus, pārbaudiet, vai platforma atbalsta ātrumu, optiku, pārtraukuma režīmus un programmatūras funkcijas, kas būs nepieciešamas pakāpeniskai jaunināšanai.
Ja 100 G mugurkaula{1}}lapu dizains nav īstā izvēle
Šis dizains nav universāls, un dažos gadījumos ir nepieciešams kaut kas cits. Saujiņa serveru vienā vai divos plauktos reti attaisno pilnu mugurkaula-lapu uzbūvi, kur lieku slēdžu pāris ir vienkāršāks un lētāks. Ļoti lielas mākslīgā intelekta apmācības kopas var pārvarēt to, ko 100 G piekļuves un 100 G mugurkaula audums labi iztur, nolaižoties uz 400 G vai 800 G audumiem - vai pat speciālā InfiniBand tīklā - jau no paša sākuma. Un, ja gandrīz visa satiksme ir ziemeļu-dienvidu virzienā uz vārteju, nevis austrumu-rietumu virzienā starp plauktiem, mugurkaula-austrumu-rietumu priekšrocībām ir mazāka nozīme, tāpēc topoloģijai ir jābūt pamatotai ar izaugsmes un darbības apsvērumiem, nevis pieņēmumiem. Saskaņojiet arhitektūru ar satiksmi un mērogu, nevis otrādi.
Izplatītas 100 G mugurkaula{1}}lapu dizaina kļūdas
- QSFP28 portu skaitīšana divreiz.Ports ir vai nu 4 x 25 G izlaušanās, vai 100 G augšupsaite, bet nekad abas. Piešķiriet katrai ostai vienu lomu.
- Optikas izvēle pēc maksimālās sasniedzamības.Garāks sasniedzamība palielina izmaksas un jaudu; saskaņot optiku ar faktisko šķiedru attālumu un veidu.
- N-1 ignorēšana.Pārbaudiet attiecību normālas darbības laikā un pēc mugurkaula zaudēšanas.
- Aizmirstot optisko jaudu un siltumu.Ar QSFP28 moduļiem pilns mugurkauls ir īsta termiskā slodze, tāpēc iekļaujiet optiku jaudas un dzesēšanas aprēķinos.
- Kabeļu pieslēgšana kā pēcpārdoma.Maršrutēšana, marķēšana, polaritāte un dokumentācija ietilpst dizainā, nevis instalācijā.
- Izstrādāts tikai mūsdienu servera ātrumam.Ja 25 G piekļuve tiks pārslēgta uz 100 G, atstājiet vietu 100 G vai 400 G mugurkaulam.
FAQ
J: Kāds ir labākais pārsūtīšanas koeficients 100 G mugurkaula tīklam?
A: Nav vienas labākās attiecības. Vispārējiem aprēķiniem 2:1 vai 3:1 bieži vien ir praktisks. Krātuves, AI, HPC vai RDMA darba slodzēm izmantojiet 1:1 vai mazāku -pārmaksas abonēšanas dizainu, kur vien iespējams, un pārbaudiet, vai tie tiek izmantoti, izmantojot izmērīto trafiku.
J. Vai man vajadzētu izmantot QSFP28 SR4 vai CWDM4 lapu{3}}uz{4}}mugurkaula saitēm?
A: Izmantojiet SR4 īsiem daudzrežīmiem, kur ir pieejams MPO/MTP kabeļi. Lietojiet CWDM4 vai līdzīgu viena-režīmu optiku, ja attālums ir lielāks vai ja priekšroka tiek dota abpusējā LC viena-režīma iekārtai, līdz aptuveni 2 km.
J: Vai QSFP28 var sadalīties 4x25G?
A: Jā, daudzas QSFP28 platformas atbalsta 4x25G izlaušanos, taču atbalsts ir atkarīgs no slēdža modeļa, portu grupas, operētājsistēmas un kabeļa veida. Vienmēr pārbaudiet slēdža saderības matricu pirms projektēšanas ap izlaušanos.
J: Vai 100 G mugurkaula{1}}lapa joprojām ir tā vērta tagad, kad pastāv 400 G?
A: Jā, lielākajai daļai uzņēmumu un mākoņa vidi ar 25G vai 100G servera piekļuvi. 400G nopelna augstākas izmaksas, ja to attaisno augšupsaites jauda, AI trafiks vai liels -mēroga austrumu-rietumu joslas platums.
J: Cik mugurkaula slēdžu man ir nepieciešams?
A: Atlaišanai vismaz divi. Lielākiem audumiem bieži tiek izmantoti četri vai vairāk, lai nodrošinātu labāku ECMP izplatīšanu un lielāku augšupsaites jaudu. Pareizais skaits ir atkarīgs no lapu skaita, augšupsaites ātruma, pārsnieguma mērķa un platformas ierobežojumiem.
J: Kāda ir visizplatītākā dizaina kļūda?
A: Portu nepareiza skaitīšana. Komandas vispirms plāno augšupsaites un vēlāk atklāj, ka pārrāvuma kabeļi patērēja QSFP28 portus, ko tās paredzēja izmantot mugurkaulam. Pirms augšupsaites jaudas pabeigšanas piešķiriet sadalījuma portus.
Secinājums
Labs 100 G mugurkaula-lapas dizains ir to lēmumu summa, kas pieņemti pirms aparatūras saņemšanas: definējiet darba slodzi, pareizi skaitiet portus, aprēķiniet pārmērīgu abonementu gan normālos, gan kļūmes apstākļos, izvēlieties optiku pēc attāluma, apzināti plānojiet pārtraukumu, elektroenerģijas un dzesēšanas budžetu un atstājiet vietu 400 G. Lielākajai daļai uzņēmumu datu centru 25G piekļuve ar 100G QSFP28 augšupsaites joprojām ir spēcīgs veiktspējas, izmaksu un mēroga līdzsvars, savukārt krātuve, AI un HPC vienkārši prasa mazāku pārrakstīšanu un stingrāku validāciju. Uzticamā pieeja nemainās: veidojiet no servera uz āru, pierādiet matemātiku parastos un N-1 apstākļos un dokumentējiet katru saiti pirms izvietošanas.