Anotacija
Dirbtiniam intelektui (AI) sparčiai tobulėjant, tradiciniai duomenų centrų tinklai, vykdydami dirbtinio intelekto srautą, susiduria su dideliais iššūkiais. Dėl didelio pralaidumo išnaudojimo ir nedidelio skaičiaus dramblių srautų įprastas per-srauto apkrovos balansavimas gali būti neveiksmingas, todėl gali atsirasti perkrovų ir prarasti paketai, o tai žymiai padidina AI modelio mokymo ir darbų atlikimo laiką. Šioje baltojoje knygoje nagrinėjama dinamiška išmanioji maršruto parinkimo technologija, kuri suderina-sąmoningumą realiuoju laiku su protingu sprendimų-priėmimu. Jis naudoja kelio-kokybės matavimą, BGP išplėstinį-atributų sinchronizavimą, dinaminį svertinį-kaištų kelių kelią (WCMP), neįprasto-kelio pašalinimą ir
„Flowlet“{0}}lygio automatinis apkrovos balansavimas (ALB), siekiant pagerinti srauto planavimą dirbtinio intelekto aplinkoje. Dizainas taip pat naudoja virtualizavimą, kad būtų galima atskirti kelis nuomininkus, taip pat siūlomi taikomųjų programų scenarijai ir planavimo gairės efektyviems, stabiliems ir pažangiems AI duomenų centrų tinklams.
Įvadas: Tinklo evoliucija AI Era
Kodėl tradiciniai tinklai kovoja su AI Eismas
Tradiciniuose duomenų centrų tinkluose daug mažų srautų leidžia balansuoti per{0}}srauto apkrovą, kad būtų pasiektas priimtinas paskirstymas ir išvengta spūsčių net ir nežinant tinklo sąlygų realiuoju laiku. Dirbtinio intelekto srautas labai skirtingas: pralaidumo panaudojimas itin didelis, o sraute dažnai dominuoja tik keli dramblių srautai. Todėl maišos susidūrimai gali sukelti kelis didelius srautus tame pačiame kelyje, o kiti keliai lieka nepakankamai naudojami. Praradus paketus, viso AI darbo krūvio užbaigimo laikas gali gerokai pailgėti. Dėl šios priežasties pramonė vis daugiau dėmesio skiria optimizuotiems apkrovos-balansavimo algoritmams dirbtinio intelekto audiniams, kad srautas būtų paskirstytas tolygiau keliuose keliuose.
1 pav. DI dramblio-srauto srauto ir tradicinio mažo{2}}srauto srauto palyginimas.
Dinaminio sąmoningumo derinimas su protingu sprendimų{0}}priėmimu
Dinaminis pažangus maršruto parinkimas yra sąmoningumu{0}}pagrįsta apkrovos-balansavimo technologija. Jis naudoja kelio kokybę, kurią nustato audinio jungikliai, kad sureguliuotų vietinį kelio pasirinkimą ir palaiko dinamiškai svertinį apkrovos balansavimą. BGP pagrindu sukurta technologija apibrėžia naują išplėstinės-bendruomenės atributą.
Kelio kokybei įvertinti naudojami kelių{0}}dimensijų, didelio{1}} tikslumo matavimai, o rezultatas perduodamas per BGP, kad būtų galima nukreipti tolesnį srautą. Tai pagerina apkrovos paskirstymą tinkle-ir sumažina programos reakcijos laiką [1].
2 pav. Dinaminis suvokimas, sprendimų priėmimas ir vykdymas.
Pagrindinės technologijos: išmanusis eismo planavimas
Pagrindiniai tinklo apkrovos{0}}balansavimo metodai apima:
- Srauto Tai gerai veikia, kai yra daug srautų ir išsaugo paketų tvarką, tačiau maišos susidūrimai gali sukelti prastą balansavimą, kai srautų skaičius yra mažas, kaip AI mokyme [1].
- Flowlet{0}}pagrįstas balansavimas: priklauso nuo teisingos srauto tarpo-tarpo konfigūracijos. Tiksli konfigūracija yra sudėtinga, kai visuotinio kelio{3}}lygio delsa nežinoma [1].
- ECMP už -paketą: užtikrina puikų teorinį balansą, bet imtuve gali sukelti platų paketų pertvarkymą [1].
Dinaminis išmanusis maršruto parinkimo metodas, naudojamas XingRongyuan CX-N Series RoCE jungikliuose (pagrįstas SONiC{1}}), apjungia srauto ECMP ir Flowlet-pagrįstą balansavimą. Jame pristatomas dinaminis WCMP (svertinis kelių sąnaudų kelias) ir Flowlet{5}}pagrįstas ALB (automatinis apkrovos balansavimas) [1].
Kelio kokybės matavimas
Sistema įvertina tinklo kelio kokybę, naudodama veiksnius, kurie stipriai veikia AI klasterio struktūrą, įskaitant pralaidumo naudojimą, eilės naudojimą ir persiuntimo delsą.
Statistiniai skaitikliai
Pralaidumas ir eilės naudojimas matuojami ASIC aparatūros skaitikliais šimto{0}}milisekundžių tikslumu. ASIC realiuoju laiku įrašo prievado-persiuntimo ir eilės-persiuntimo skaitiklius. SONiC valdymo plokštuma nuskaito skaitiklius per SAI sąsają mažesniu-sekundės tikslumu ir išsaugo juos „Redis“. Maršruto{7}}valdymo procesas įvertina sąsajos kokybę naudodamas šiuos skaitiklius ir skelbia rezultatą per BGP. Siekiant apriboti valdymo-plokštumos apkrovą, skelbimai šiuo metu siunčiami antrojo{10}}lygio intervalais, o keliems pavyzdžiams taikomas svertinis vidurkis; naujesni mėginiai turi didesnį svorį.
In-juostinė telemetrija
Persiuntimo{0}}delsos matavimas pagrįstas INT (in-band Network Telemetry) ir gali pasiekti nanosekundžių-lygio tikslumą. HDC (High Delay Capture) fiksuoja paketus, kuriems ASIC viduje yra didelė delsa. Kai paketas viršija naudotojo{5}}nustatytą delsos slenkstį, jungiklis siunčia pirmuosius 150 pradinio paketo baitų kartu su metaduomenimis, įskaitant įėjimo prievadą, išėjimo prievadą ir delsą, į rinktuvą. Šiame projekte CPU veikia kaip HDC rinktuvas ir analizatorius, leidžiantis atlikti didelio-tikslumo persiuntimo-delsos matavimus ir tikslesnį kelio{10}kokybės įvertinimą.
3 pav. Kelio-kokybės sklidimas ir WCMP diegimas.
Ši technologija naudoja naują BGP išplėstinės{0}}bendruomenės atributą „Path Bandwidth Extended Community“, kad nurodytų bendrą kelio į paskirties vietą kokybę. Išplėstinio-tipo lauko aukščiausios-tvarkos baitas yra 0x00, o žemos-tvarkos baitas yra 0x05. Vertės lauke pasaulinio administratoriaus polaukis nurodo AS numerį. Kelio kokybė užkoduota keturiais baitais naudojant IEEE slankiojo taško formatą ir išreiškiama GB/s.
Kai NIC1 bendrauja su NIC2, NIC2 pirmiausia reklamuoja savo IP adresą Leaf2. „Leaf2“ reklamuoja „Spine“ adresą kartu su nuorodos-kokybės verte link NIC2, padauginta iš „Leaf2“ nukreipimo svorio. „Spine“ prideda savo svertinę nuorodos kokybę ir perduoda sukauptą vertę „Leaf1“. „Leaf1“ apibendrina kelio kokybę ir įdiegia maršrutus, kurie nukreipia persiuntimą. Dviejų-pakopų lapų{13}}stuburo audinyje prievadai klasifikuojami kaip „Leaf uplink“, „Leaf downlink“ ir „Spine“ prievadai su konfigūruojamais kiekvienos klasės skaičiavimo koeficientais.
Dinaminis WCMP
Apkrovos balansavimas paskirsto srautą keliose nuorodose. Dirbtinio intelekto aplinkoje tai būtina kuriant be nuostolių eterneto audinį su minimaliu paketų praradimu, delsa ir pralaidumo pablogėjimu. ECMP yra įprastas duomenų centrų mechanizmas. WCMP išplečia ECMP platindama
srautą proporcingai per nuorodas. Dinaminio intelektualaus maršruto parinkimo metu WCMP svoriai koreguojami realiuoju laiku pagal kelio kokybę. Pavyzdžiui, jei tarp NIC1 ir NIC2 yra du keliai, sistema gali apskaičiuoti santykį 3:7. Keičiantis eismui, atnaujinta kelio-kokybės informacija perduodama per BGP į kiekvieną Leaf jungiklį, kur generuojami dinaminiai WCMP maršrutai, nukreipiantys nukreipimą.
Nenormalaus kelio pašalinimas
Kai bendra kelio kokybė nukrenta žemiau sutartos slenksčio, kelias laikomas netinkamu dirbtinio intelekto darbo krūviui ir pašalinamas iš persiuntimo. Likę keliai ir toliau nukreipia srautą per dinaminį WCMP. Kai kelias grįžta į normalų, jis atkuriamas. Nors dėl to dalis pajėgumų laikinai gali likti nepanaudota, išvengiama rimtesnių perkrovų ir paketų praradimo [1].
Išmanusis apkrovos balansavimas (ALB)
ALB teikia „Flowlet“{0}}pagrįstą apkrovos paskirstymą. ASIC realiuoju laiku matuoja apkrovą ir delsą skirtinguose prievaduose ir nukreipia kiekvieną „Flowlet“ į nuorodą su mažesne apkrova arba mažesniu uždelsimu. Be tradicinio ECMP, tai prideda tikslesnį-planavimą. ALB taip pat palaiko prievado perjungimą ir automatiškai perskirsto srautą, kai sugenda išėjimo nuoroda [1].
Virtualizacija
Prie{0}}galiniams tinklams dažnai reikia kelių{1}}nuomotojų palaikymo, kad skirtingiems naudotojams būtų galima priskirti skirtingus GPU išteklius. Sprendimas naudoja VRF (virtualus maršruto parinkimas ir persiuntimas), kad izoliuotų nuomininkus, kiekvienam vartotojui priskiriant vieną VRF. Su GPU-susiję potinkliai dedami į vartotojo VRF, o ASIC PRE ACL klasifikuoja įėjimo srautą, kad kiekvieno vartotojo srautas būtų persiunčiamas tik atitinkamame VRF [1].
Taikymo scenarijai
1. Kaip dinaminis WCMP sugeria srauto viršįtampius
Audiniams su 256 x 400 G GPU prievadais galima sukurti dviejų-pakopų „Clos“ architektūrą su 1:1 žemyn nukreipto-ir -aukštynansio ryšio konvergencijos santykiu, kad būtų išlaikytas didelis pralaidumas, didelis pralaidumas ir simetriškas pajėgumas. Tinkami gaminių modeliai yra XingRongyuan CX864E-N arba CX732Q-N [1]. Taikant įprastą ECMP, nedidelis AI dramblių srautų skaičius gali nukreipti į tą patį stuburą, sukeldamas uplink perkrovą arba paketų praradimą. Dinaminis WCMP nuolat koreguoja srauto paskirstymą, atsižvelgdamas į{15}}realaus laiko kelio kokybę, sumažindamas srauto antplūdį ir išvengdamas spūsčių [1].
2. Flowlet-Apkrovos lygio balansavimas
Tame pačiame 256 x 400 G GPU audinyje ne kiekvienam įrenginiui ar darbo krūviui geriausiai tinka dinaminis WCMP. Jungiklis gali dinamiškai pasirinkti Flowlet{3}}pagrįstą ALB. ALB matuoja ECMP grupės nuorodų apkrovą ir delsą ir siunčia srautus nuorodoms, kurių panaudojimas arba vėlavimas yra mažesnis. Jei sąsaja perkraunama arba padidėja jos persiuntimo delsa, ASIC automatiškai vengia to išėjimo, kol sąlygos normalizuosis [1].
AI tinklo planavimas ir projektavimas
DI paslaugos paprastai apima tris etapus: duomenų rinkimą ir išankstinį apdorojimą, modelio mokymą ir AI išvadų sudarymą. Kiekvienas etapas kelia skirtingus reikalavimus tinklui.
1. Duomenų rinkimas ir išankstinis apdorojimas
Pasaulinis mokymo{0}}duomenų rinkimo ir išankstinio apdorojimo tinklas turi teikti didelio-masto, elastingus viešuosius IP ir pralaidumo išteklius, kad būtų galima efektyviai rinkti didžiulius neapdorotus duomenų rinkinius iš pasaulinio interneto. Konstrukcija turi užtikrinti saugų ir stabilų perdavimą, kartu gerinant duomenų agregavimo ir išankstinio apdorojimo našumą [2].
1.1 VPC segmentavimas
VPC dizainas, skirtas debesies{0}}duomenims rinkti, turėtų atitikti mažiausiai-privilegijų, daugiasluoksnės izoliacijos, saugos kontrolės ir elastingo mastelio principų. Gali būti naudojami keli VPC arba keli potinkliai viename VPC [2].
- Segmentuoti pagal paslaugos etapą: įdiekite duomenų rinkimą, išankstinį apdorojimą, saugojimą, mokymą ir išvadas atskiruose potinkliuose arba VPC. Įdėkite surinkimo įėjimo taškus į DMZ VPC arba viešąjį potinklį; patalpinti išankstinio apdorojimo ir laikinus duomenis į tam skirtą apdorojimo VPC; patalpinti neskelbtinus neapdorotus duomenis ir dirbtinio intelekto mokymus aukšto -saugumo VPC be tiesioginės viešosios prieigos.
- Atskirkite pagal saugos lygį: kurkite aukšto-, vidutinio- ir žemo-saugumo VPC arba potinklius ir naudokite saugos grupes, tinklo ACL ir privatų ryšį, kad valdytumėte kryžminį-VPC ir kryžminį-potinklio srautą.
- Skirstymas pagal nuomininką arba projektą: priskirkite atskirus VPC skirtingiems nuomininkams ar projektams, kad atskirtumėte išteklius, tinklus ir duomenis.
1.2 Duomenų rinkimo išėjimo tinklas
NAT šliuzas: naudokite EIP ir SNAT telkinį per NAT šliuzą, leisdami rinkimo programoms pasiekti internetą iš atsitiktinai parinktų viešųjų IP adresų.
Savarankiškai sukurtas{0}}tarpinis serveris: įdiekite tarpinius serverius, kurie palaiko rinkimo procesų ir viešųjų IP adresų susiejimą ir paskirsto vieną rinkimo užklausą keliuose tarpiniuose serveriuose.
IP paslaugų teikėjas: prisijunkite prie IP paslaugų teikėjo per debesų privatų tinklą, kad sumažintumėte sąnaudas, kontroliuojamą saugumą ir stabilią kokybę [2].
1.3 Kryžminis-regioninis duomenų kaupimas ir išankstinis apdorojimas
Pasirinkite OSS regioną pagal išankstinio apdorojimo{0}}klasterio planą ir tame pačiame regione sukurkite duomenų-bendravimo VPC. Kiekviename regione sukurkite tranzito maršrutizatorių (TR), prijunkite vietinius VPC ir sujunkite TR, kad regioniniai rinkimo VPC galėtų tiesiogiai pasiekti centrinę OSS. Tada tokios paslaugos kaip PAI-iTAG, MaxCompute ir Flink gali atlikti duomenų žymėjimą ir išankstinį apdorojimą OSS regione [2].
2. Modelių mokymo tinklas
Modelio{0}}mokymo tinklas yra glaudžiai integruotas su rinkimo ir išankstinio apdorojimo tinklu, kad sudarytų pasaulinį tinklą, jungiantį debesies duomenų centrus, krašto mazgus ir vietinius IDC.
Didelės spartos{0}}sujungimas užtikrina mažą-delsą, didelio{2}}pralaidumo duomenų judėjimą, o pralaidumas, saugos politika, prieigos valdymas ir atkūrimas po nelaimingų atsitikimų turi būti suprojektuoti iki galo [2].
- -Regionų kryžminiame-grupių skaičiavimo telkinyje: tranzito maršrutizatorius sujungia kelis VPC tame pačiame regione. Serverio ENI jungiasi prie VPC jungiklių ir gali būti sukonfigūruoti reikiamam pralaidumui ir RDMA.
- Kryžminio-debesų skaičiavimo telkinys: skirtos grandinės sujungia IDC ar kitą debesį prie to paties-regiono VPC. „Alibaba Cloud VBR“ jungiasi 3 lygmeniu prie lygiaverčio įrenginio su BGP, BFD ir greitu perjungimu, kad būtų galima greitai suartėti.
Visuotinis skaičiavimo telkinys: kryžminiai-regioniniai ryšiai tarp TR teikiami atsižvelgiant į didžiausią-regionų srautą, naudojant pasirenkamą tarp-regionų QoS, kad būtų sukurtas vieningas skaičiavimo telkinys visuose regionuose [2].
3. Visuotinės išvados-paslaugų tinklas
Pasaulinis išvadų tinklas parenka diegimo modelius pagal kiekviename regione turimus išteklius ir debesies paslaugas ir užtikrina efektyvų paslaugų paskirstymą bei prieigą [2].
- Modelio arba agento diegimas: naudokite Model Studio MaaS diegimą, PAI{0}}EAS arba Function Compute PaaS diegimą arba IaaS diegimą EGS, ACK, ACS arba Lingjun be{1}}metalinėje kliento VPC infrastruktūroje.
- Paslaugų platinimas: sukurkite išvados-paskirstymo VPC ir prijunkite privačius tinklus naudodami VPC Peering, susietus debesies{1}}paslaugų VPC arba „PrivateLink“. Įdiekite ALB arba patobulintą ALB kaip prieigos tašką ir tarpinio serverio užklausas skirtingiems modeliams ar agentams.
- Prieiga prie paslaugų: vietiniai interneto vartotojai gali tiesiogiai pasiekti patobulintą ALB; nuotoliniai vartotojai gali naudoti Global Accelerator (GA); vidiniai arba išoriniai „Alibaba Cloud“ įmonės vartotojai gali prisijungti privačiai naudodami „PrivateLink“.
Išvada ir perspektyva
Šioje baltojoje knygoje paaiškinami iššūkiai, su kuriais susiduria IDC tinklai AI eroje, ir kaip dinamiškas išmanusis maršrutas gali juos išspręsti. Dinaminis suvokimas, protingas sprendimų{1}}priėmimas, WCMP, ALB ir VRF virtualizavimas pagerina apkrovos-balansavimo efektyvumą, sumažina spūstis ir paketų praradimą bei pagreitina dirbtinio intelekto mokymą ir išvadas. Planavimo skiltyje akcentuojamas VPC segmentavimas, rinkimo-išėjimo projektavimas, kelių-regionų agregavimas ir išankstinis apdorojimas, modelio mokymas ir visuotinių išvadų pateikimas. AI toliau tobulėjant, duomenų centrų tinklams bus taikomi griežtesni reikalavimai. Dinaminis išmanusis maršruto parinkimas ir toliau tobulės naudojant AI, susietąjį mokymąsi ir kitus sudėtingus scenarijus. Ateityje IDC tinklai daugiau dėmesio skirs skaičiavimo-tinklo konvergencijai, energijos vartojimo efektyvumui ir automatizuotoms operacijoms, sukuriant protingesnį, efektyvesnį ir patikimesnį skaitmeninės ekonomikos pagrindą.
Nuorodos
Naudotojo-pateiktas techninis šaltinio dokumentas.
Alibaba Cloud AI tinklo baltoji knyga. Žiūrėta 2026 m. gegužės 27 d.
https://help.aliyun.com/zh/cloud-network-gerai-architected-design/alibaba-cloud-ai-network-balta{10}}popierius