Nvidias Vera Rubin-plattform ska ge en heltäckande AI-infrastruktur

Nvidia har presenterat sin Vera Rubin-plattform, som kombinerar databehandling, nätverk och datahantering i rackbaserade installationer för stora AI-datacenter, vilket visar på en förändring i hyperskaliga miljöer mot en mer integrerad infrastruktur. Företaget uppger att plattformen integrerar dess Vera CPU, Rubin GPU, NVLink 6-switch, ConnectX-9 SuperNIC, BlueField-4 DPU och Spectrum-6 Ethernet-switch, tillsammans med den nyligen tillagda Groq 3 LPU, i ett enda system utformat för att fungera som en AI-superdator. Arkitekturen är utformad för att stödja alla stadier av AI-arbetsbelastningar, från storskalig träning och efterträning till realtidsinferens, och riktar sig till så kallade AI-”fabriker”, eller storskaliga datacenterinstallationer. Den förväntas antas av molnleverantörer, inklusive Amazon Web Services, Microsoft Azure och Google Cloud. Nvidia introducerade också sin DSX-plattform, som enligt företaget kan öka den användbara AI-infrastrukturen med upp till 30 procent inom fasta effektbegränsningar, vilket belyser det växande trycket på datacentrets energikapacitet. Förskjutning bortom servermodellen Analytiker säger att lanseringen speglar en bredare förskjutning mot AI-inbyggd infrastruktur i företagsdatacenter. – Det här steget från Nvidia visar på den ökande efterfrågan från företag på en mer tätt integrerad och högoptimerad fullstack-AI-infrastruktur, säger Lian Jye Su, chefsanalytiker på Omdia. – I takt med att efterfrågan på AI-applikationer fortsätter att växa, anammar hyperscalers och stora företag aktivt fullstack-AI-infrastruktur som den nya standarden i hyperscale-datacenter. Övergången speglar en djupare förflyttning från att optimera enskilda komponenter till att konstruera hela system för skalbarhet och effektivitet, säger Sanchit Vir Gogia, chefsanalytiker på Greyhound Research. – Beräkningskapacitet, minnesbeteende, interkonnektivitetsbandbredd och orkestrering av arbetsbelastning konstrueras tillsammans, säger Gogia. – Även fysiska designval som rackmodularitet, servicevänlighet och monteringseffektivitet ingår nu i prestandakonstruktionen. Infrastrukturen börjar likna en apparat i stor skala, men en som fungerar med extrem densitet och komplexitet. Branschobservatörer säger att system i rackskala, inklusive Nvidias NVL72 och öppna standarder som OCP Open Rack, möjliggör mer flexibel sammanslagning och orkestrering av infrastrukturresurser för AI- och maskininlärningsarbetsbelastningar. –Jag ser också att andra operatörer i allt högre grad antar chip-to-grid-strategier, där de integrerar lokal kraftproduktion (mikronät, batterier), avancerad kylteknik och samförpackad optik för att effektivt hantera strömspikar, minska omvandlingsförluster och stödja racktätheter som överstiger 100 kW, säger Franco Chiam, analyiker på IDC. Det gemensamma svaret från branschen för att anpassa sig till behoven av högre effekt och värmebehov förstärks ytterligare av att ledande leverantörer och hyperscalers enas kring öppna standarder, vilket underlättar skalbara datacenterinstallationer i gigawattklassen, tillägger Chiam. Nätverk står i centrum Nätverk framträder som en central komponent i AI-infrastrukturen, eftersom plattformar som Vera Rubin lägger större vikt vid hur data rör sig mellan systemen snarare än att behandla konnektivitet som ett stödjande lager. Med tekniker som Spectrum-6 Ethernet, ConnectX-9-nätverkskort, BlueField-4-databehandlingsenheter och NVLink 6 förskjuts prestandaflaskhalsen från beräkning till interkonnektivitetsbandbredd, latens och hantering av överbelastning, säger Manish Rawat, halvledaranalytiker på TechInsights. – Storskalig träning, agentbaserad AI och distribuerad inferens är i sig nätverksintensiva, vilket driver behovet av deterministiska, högpresterande nätverk, säger Rawat. – Ethernet omstruktureras för att konkurrera med InfiniBand, medan DPU:er avlastar kritiska data-, lagrings- och säkerhetsuppgifter. Företag måste övergå till platta arkitekturer med hög bandbredd, införa AI-medvetna trafikoperationer och bygga upp nya kompetensområden. Som ett resultat blir AI-prestanda alltmer en utmaning på systemnivå, där ineffektivitet i nätverket direkt kan begränsa utnyttjandet av datorkapaciteten. – Att integrera nätverk mer tätt med beräkning och lagring kommer att påskynda AI-arbetsbelastningar genom att minska latensen, förbättra energieffektiviteten och underlätta driftsättningen, säger Su. – Specifikt erbjuder Vera Rubin-plattformen dubbelt så stor skalbar bandbredd, tillsammans med programmerbar överbelastningskontroll, adaptiv routning, KV-cachehantering och dedikerade säkerhetsfunktioner som förbättrar effektiviteten under träning och inferens, samtidigt som den totala ägandekostnaden minskas genom bättre GPU-utnyttjande. Balans mellan prestanda och inlåsning Även om plattformen lovar betydande effektivitetsvinster, säger analytiker att den också kan öka risken för leverantörsberoende i takt med att företag blir mer beroende av Nvidias tätt integrerade ekosystem av hårdvara och mjukvara. Övergången till fullstack-AI-infrastruktur kan begränsa flexibiliteten i miljöer med flera leverantörer, särskilt för organisationer som traditionellt har förlitat sig på modulära, interoperabla system. – Därför måste cio:er se på sin AI-arbetsbelastning holistiskt och utvärdera vilka applikationer som verkligen drar nytta av Nvidias system, säger Su. – Att anta en moln-först-strategi med hyperscalers som erbjuder Vera Rubin är ett bra första steg. I en hybridmiljö överskuggar effektivitetsvinsterna definitivt inlåsningskostnaderna om AI är strategiskt viktigt och centralt för den applikation som driftsätts i stor skala.