Conoscenza

La disaggregazione del data center separa elaborazione, memoria, storage e rete in risorse indipendenti e raggruppate invece di bloccarle all'interno dei confini fissi del server. Questa separazione crea una nuova dipendenza architetturale: il livello di interconnessione tra questi pool deve fornire larghezza di banda sufficiente, latenza sufficientemente bassa e portata sufficiente per far sì che l’intero sistema si comporti come un unico tessuto coordinato. L'interconnessione ottica è la tecnologia di trasporto che ricopre sempre più questo ruolo - in particolare laddove i collegamenti in rame raggiungono limiti fisici in termini di distanza, potenza e integrità del segnale.

Questo articolo spiega come l'interconnessione ottica supporta le architetture disaggregate, dove supera le prestazioni del rame, come si relaziona a CXL e all'ottica co-confezionata e quando ha senso pratico adottarla.

Che cos'è la disaggregazione del data center?

In un modello tradizionale-incentrato sui server, CPU, memoria, spazio di archiviazione e rete sono raggruppati all'interno di un unico chassis. Acquisti un server e ottieni un rapporto fisso di tutti e quattro - indipendentemente dal fatto che il tuo carico di lavoro richieda tale rapporto o meno. La disaggregazione del data center rompe questo insieme. Ogni tipo di risorsa è organizzata nel proprio pool e i carichi di lavoro traggono solo ciò di cui hanno bisogno da ciascun pool su un'infrastruttura condivisa.

Ciò è importante perché i carichi di lavoro moderni raramente sono bilanciati. Un lavoro di addestramento del modello linguistico di grandi dimensioni potrebbe saturare la memoria della GPU e la larghezza di banda est-ovest, toccando a malapena lo spazio di archiviazione locale. Una pipeline di analisi in tempo reale-potrebbe richiedere un'enorme capacità di memoria ma solo un'elaborazione moderata. In una progettazione incentrata sui server-, questa mancata corrispondenza porta allo spiaggiamento delle risorse: cicli di CPU inattivi accanto a memoria esaurita o capacità di archiviazione che nessun carico di lavoro utilizza.

ILProgetto di calcolo aperto (OCP)ha promosso progetti di rack disaggregati dalla metà degli anni 2010 e hyperscaler come Meta e Microsoft hanno implementato storage e reti disaggregati su larga scala. L'emergere diCalcolo Express Link (CXL)ha esteso questa visione alla disaggregazione della memoria, rendendo l'architettura sempre più pratica per una gamma più ampia di ambienti.

Perché i design tradizionali incentrati sui server- si scontrano con un muro

Due forze stanno spingendo i team infrastrutturali verso la disaggregazione: la pressione sull’utilizzo e la pressione sulla larghezza di banda.

Dal punto di vista dell’utilizzo, i pacchetti di server fissi creano sprechi su larga scala. Le ricerche di settore suggeriscono che circa il 25% della capacità DRAM nei server convenzionali resta in media inutilizzata, anche se la memoria rappresenta quasi la metà del costo totale dei server. Moltiplicata per migliaia di nodi, quella capacità incagliata rappresenta un significativo onere di capitale e di energia.

Dal punto di vista della larghezza di banda, i cluster di addestramento AI e l'analisi ad alte-prestazioni generano modelli di traffico che differiscono nettamente dai tradizionali carichi di servizio web nord-sud-. Questi carichi di lavoro producono un intenso traffico da est-ovest - GPU-a-GPU, dall'acceleratore-a-memoria e da nodo-a-nodo - su centinaia o migliaia di endpoint. Le tradizionali topologie server-centriche con brevi percorsi in rame tra box fissi non erano progettate per questo modello. Man mano che le velocità di collegamento salgono da 400G a 800G e oltre, le limitazioni elettriche del rame diventano più difficili da aggirare.

Una volta che le risorse di elaborazione, memoria e acceleratore si trovano in pool separati, la struttura che collega tali pool diventa il livello-critico per le prestazioni. L'interconnessione ottica serve quello strato convertendo i segnali elettrici in luce, trasmettendo i datimodalità-singolaOfibra multimodalee riconvertendosi in elettrico all'estremità ricevente.

La fisica del trasporto ottico gli conferisce vantaggi strutturali per questo lavoro. I segnali luminosi in fibra subiscono un'attenuazione al metro molto inferiore rispetto ai segnali elettrici in rame, il che significa che i collegamenti ottici possono mantenere la qualità del segnale su distanze più lunghe senza il condizionamento del segnale- assetato di energia (retimer, DSP, equalizzatori) che il rame richiede a velocità più elevate. A 800 Gbps, il rame passivo è pratico fino a circa 3–5 metri. I cavi elettrici attivi lo estendono fino a forse 7 metri. I collegamenti ottici si estendono normalmente da 100 metri a 2 chilometri alla stessa velocità di trasmissione dati, e l'ottica coerente può raggiungere decine di chilometri.

In un'architettura disaggregata, questo vantaggio in termini di portata non è astratto. Determina direttamente la distanza tra i pool di risorse pur continuando a comportarsi come un sistema unificato. Nello specifico:

• All'interno del rack:Il rame domina ancora per connessioni molto brevi da - server-a-parte superiore-del-switch rack, da GPU-a-GPU all'interno di un vassoio. A distanze inferiori a 2-3 metri, il rame è più semplice, più economico e ha una latenza-inferiore.
• Da rack-a-rack (2–100 m):È qui che l’interconnessione ottica diventa l’impostazione predefinita pratica a 400G e oltre. Collegare un rack di elaborazione a un pool di memoria in un rack adiacente o collegare i vassoi GPU su una fila richiede in genere la densità di larghezza di banda e la portata fornite dalla fibra.Assemblaggi di cavi in ​​fibra otticaEConnettività MPO/MTPsono standard per questi percorsi.
• Stanza-per-stanza ed edificio-per-edificio (100 m–10+ km):A queste distanze e velocità è possibile solo il trasporto ottico. Questo ambito è importante per la disaggregazione su scala-del campus, dove i pool di archiviazione, il calcolo di backup o le risorse di-ripristino di emergenza si trovano in edifici separati.

Interconnessione ottica e rame nei data center disaggregati

La scelta tra ottico e rame non è binaria - ma dipende dall'ambito-. Ecco come si confrontano i due fattori che contano di più in un progetto disaggregato:

Il punto pratico: usa il rame dove-la semplicità a breve distanza vince ancora. Utilizza l'ottica laddove la portata, la densità della larghezza di banda, l'efficienza energetica o la gestione dei cavi diventano un vincolo vincolante. In un ambiente disaggregato, la quota ottica dell'interconnessione totale aumenta perché l'architettura stessa crea percorsi con larghezza di banda-più lunghi e maggiori tra pool di risorse separati. Per un confronto più approfondito tra i tipi di media, vederecavi in ​​fibra ottica o in rame: qual è quello giusto per la tua implementazione.

Principali vantaggi dell'interconnessione ottica per la disaggregazione

Maggiore densità di larghezza di banda per pool di risorse separati

La disaggregazione aumenta il volume del traffico che attraversa il livello di interconnessione perché le risorse che una volta erano co-localizzate ora comunicano attraverso la struttura. La fibra ottica supporta questa domanda con una maggiore larghezza di banda per-fibra e più fibre per cavo. Un singolocavo in fibra a nastropuò trasportare centinaia di fibre in una sezione trasversale compatta-, consentendo il tipo di densità di porte richiesta dai cluster GPU e dai pool di memoria disaggregati.

Riduzione del carico energetico e termico su larga scala

L'efficienza energetica conta di più in una progettazione disaggregata perché il livello di interconnessione trasporta una quota maggiore del traffico totale del sistema. A 800G e superiori, i collegamenti in rame su distanze moderate richiedono un'elaborazione DSP-ad alta intensità energetica su entrambe le estremità. I collegamenti ottici a velocità e distanze equivalenti consumano meno energia per bit. La documentazione tecnica di NVIDIA sulla sua piattaforma di commutazione ottica co-confezionata riporta aRiduzione del consumo energetico di 3,5 volterispetto ai tradizionali ricetrasmettitori collegabili. Su scala di data center, questa differenza si traduce direttamente in bollette elettriche più basse e infrastrutture di raffreddamento ridotte.

Scalabilità modulare e indipendente

Una delle principali promesse della disaggregazione è che elaborazione, memoria e storage possono scalare a velocità diverse. L'interconnessione ottica supporta questa promessa perché l'aggiunta di capacità a un pool di risorse non richiede la riprogettazione dell'intera struttura.Moduli ottici collegabilipuò essere aggiornato o aggiunto in modo incrementale - da 400G a 800G a 1,6T - senza modificare l'impianto di fibra sottostante.

Flessibilità per carichi di lavoro eterogenei

Quando le risorse vengono raggruppate e connesse tramite una struttura ottica ad alte-prestazioni, i team dell'infrastruttura possono assegnare le risorse ai carichi di lavoro in modo dinamico invece di modellare i carichi di lavoro attorno a configurazioni di server fisse. Questa flessibilità è particolarmente preziosa negli ambienti in cui i lavori di formazione sull'intelligenza artificiale, l'inferenza in tempo reale-, le pipeline di analisi e le applicazioni ad uso intensivo di spazio di archiviazione coesistono e competono per diversi tipi di risorse.

Correlazione dell'interconnessione ottica con CXL e Co-ottica confezionata

CXL: il livello del protocollo per la condivisione della memoria e delle risorse

CXL (Compute Express Link) e l'interconnessione ottica risolvono diverse parti del problema di disaggregazione. CXL è un protocollo standard aperto - costruito sul livello fisico PCIe - che consente comunicazioni coerenti con la cache- tra CPU, dispositivi di memoria e acceleratori. Definisce come le risorse separate possono essere raggruppate e condivise in modo efficiente a livello di software e protocollo.

Il consorzio CXL, i cui membri includono Intel, AMD, NVIDIA, Samsung, Microsoft, Google e Meta, ha rilasciato CXL 3.1 nel novembre 2023 con il supporto esplicito percommutazione multi-livello e disaggregazione-basata sul tessutooltre lo scaffale. CXL 3.0 ha introdotto il supporto per un massimo di 4.096 nodi in una struttura unificata, consentendo il pooling di memoria su scala-rack e potenzialmente su scala-cluster.

L'interconnessione ottica è il trasporto fisico che può trasportare il traffico CXL (e altri protocolli) tra i nodi distribuiti. Un team che valuta il pooling di memoria basato su CXL- e un team che valuta l'interconnessione ottica lavorano spesso sulla stessa iniziativa di disaggregazione da angolazioni diverse - una che affronta il protocollo e la logica di condivisione delle risorse-, l'altra che affronta il trasporto fisico.

Ottica co-confezionata: avvicina l'ottica al chip

L'ottica co-packaged (CPO) va oltre, integrando i motori ottici direttamente sullo stesso substrato del package dell'ASIC o della GPU dello switch, invece di fare affidamento su ricetrasmettitori collegabili separati collegati tramite tracce elettriche su un pannello frontale. Ciò elimina i percorsi elettrici più lunghi e-più assetati di energia nel sistema.

Al GTC 2025, NVIDIA ha annunciato il suo primopiattaforme di commutazione fotonica in silicio co-confezionate(Quantum-X Photonics e Spectrum-X Photonics), che offrono una larghezza di banda fino a 409,6 Tb/s con 512 porte a 800 Gb/s. Il CEO di NVIDIA, Jensen Huang, ha osservato che la scalabilità fino a un milione di GPU utilizzando ricetrasmettitori collegabili convenzionali consumerebbe circa 180 MW in termini di potenza del solo ricetrasmettitore - una cifra insostenibile che CPO è progettata per affrontare.

Il CPO non è qualcosa che ogni team che valuta la disaggregazione deve implementare oggi. I moduli ottici collegabili rimangono il fattore di forma dominante per la maggior partefibra ottica del data centerimplementazioni e continuerà ad essere presente almeno fino alla fine degli anni ’20. Ma il CPO rappresenta la direzione della roadmap ottica e i team che pianificano cluster AI di grandi dimensioni o tessuti disaggregati di prossima-generazione dovrebbero monitorarne attentamente la maturità.

Quando è più sensata l'interconnessione ottica?

Ambienti ad uso intensivo di intelligenza artificiale e acceleratore-

I cluster di formazione sull’intelligenza artificiale sono tra i casi d’uso più forti per l’interconnessione ottica in un contesto disaggregato. Questi sistemi generano un enorme traffico da est-ovest attraverso percorsi da GPU-a-GPU e da GPU-a-memoria. Man mano che le dimensioni dei cluster crescono da centinaia a migliaia di GPU, le richieste di portata e larghezza di banda superano rapidamente ciò che il rame può supportare. Nell'architettura GB200 NVL72 di NVIDIA, ad esempio, i costi di rete (compresi i ricetrasmettitori ottici) rappresentano il 15-18% del costo totale del cluster e i ricetrasmettitori ottici rappresentano circa il 60% di tale costo di rete. Le ragioni economiche e prestazionali per l'ottimizzazione dello strato ottico sono sostanziali.

Memory pooling e infrastruttura componibile

Se il tuo team sta valutando il pooling di memoria basato su CXL-, il livello di trasporto fisico deve supportare tale separazione senza aggiungere latenza inaccettabile o limitare la scalabilità. CXL 3.1 mira esplicitamente alla disaggregazione su scala fabric-oltre il rack, il che significa che i percorsi di interconnessione si estenderanno su distanze maggiori rispetto ai tradizionali bus di memoria intra-server. I collegamenti ottici sono la soluzione naturale per questi percorsi.

Ambienti su larga-scala con esigenze di scalabilità non uniformi

L'interconnessione ottica ha inoltre più senso quando elaborazione, memoria e storage devono scalare a velocità diverse. Se la tua capacità di elaborazione cresce di 3 volte all'anno ma lo spazio di archiviazione aumenta di 1,5 volte, un'architettura disaggregata ti consente di espandere ciascun pool in modo indipendente - e l'interconnessione ottica lo rende fisicamente possibile senza riprogettare ogni volta l'impianto di cablaggio.

Quando NON ha senso

L'interconnessione ottica non è il punto di partenza giusto per ogni ambiente. Se il tuo data center esegue principalmente carichi di lavoro bilanciati e generici su server convenzionali e il traffico da rack a rack è modesto e ben servito dall'infrastruttura in rame esistente, il costo e la complessità di una struttura ottica first potrebbero non essere giustificati. Allo stesso modo, se si opera su una scala in cui poche dozzine di server soddisfano le proprie esigenze, la disaggregazione stessa può introdurre una complessità operativa maggiore di quella che consente di risparmiare. L'architettura ripaga quando la scala, l'eterogeneità e lo squilibrio delle risorse sono reali e misurabili - non ipotetici.

Cosa valutare prima della distribuzione

1. Mappa il tuo attuale collo di bottiglia

Partiamo da una domanda chiara: qual è il vincolo vincolante? È raggiungibile (percorsi in rame troppo corti per il layout del rack)? Densità della larghezza di banda (velocità effettiva per cavo insufficiente per alimentare il cluster GPU)? Potenza (collegamenti elettrici che consumano troppa potenza a 400G+)? Utilizzo delle risorse (server con provisioning eccessivo su un asse e carenti su un altro)? L’interconnessione ottica è più preziosa quando il collo di bottiglia è fisico e misurabile, non quando viene adottato come un gesto di modernizzazione generale.

2. Valutare il costo totale del sistema, non il costo del cavo

Un errore comune è confrontare il prezzo di un cavo in rame con il prezzo di un cavo in ramecavo otticoIn isolamento. Questo confronto è fuorviante. Il confronto significativo include il consumo energetico, il sovraccarico termico (e i costi di raffreddamento che ne derivano), la densità di porte per unità rack, la portata utilizzabile, la flessibilità di aggiornamento e il costo delle risorse bloccate nell'architettura più ampia. In molti ambienti disaggregati a 400G e superiori, il costo totale di proprietà della fibra è inferiore a quello del rame se si tiene conto dell'intero sistema.

3. Verificare la compatibilità e la disponibilità operativa

Valutaretest su cavi in ​​fibra otticarequisiti, interoperabilità dei moduli, strumenti di monitoraggio e familiarità operativa del tuo team con la fibra. I moduli ottici collegabili (OSFP, QSFP-DD) sono ben-standardizzati e ampiamente supportati, ma il tuo team operativo dovrebbe essere a proprio agio con la gestione, la pulizia e la risoluzione dei problemi della fibra prima della distribuzione su larga scala. Prendi in considerazione l'idea di iniziare con un dominio pilota in cui puoi convalidare questi fattori operativi.

4. Pianificare la longevità della pianta da fibra

Un vantaggio significativo dell'infrastruttura in fibra è che l'impianto in fibra passiva - i cavi, i pannelli di connessione e i percorsi - possono supportare più generazioni di tecnologia ricetrasmettitore. Un progetto ben-progettatoconnettività del data centerL'impianto in fibra installato oggi per 400G può supportare gli aggiornamenti da 800G e 1,6T sostituendo i ricetrasmettitori, senza tirare nuovi cavi. Ciò rende l’investimento iniziale nella fibra più difendibile su un orizzonte di pianificazione di 10 anni.

Un percorso pratico di adozione

Passaggio 1: identificare un dominio vincolato.Cerca il luogo in cui la portata del rame, la potenza, la densità della larghezza di banda o lo spiaggiamento delle risorse stanno già creando un dolore misurabile. Potrebbe trattarsi di un'espansione del cluster GPU, di un collo di bottiglia da rack-a-rack in un ambiente di analisi o di un progetto pilota di pooling di memoria.

Passaggio 2: pilota e convalida.Distribuire l'interconnessione ottica in quel dominio. Misura il comportamento di latenza, il consumo energetico, la complessità operativa e gli aspetti economici dell'espansione rispetto alla base di riferimento esistente.

Passaggio 3: espandere in base alle prove.Utilizza i dati pilota per creare il caso tecnico e aziendale per un'adozione più ampia. La disaggregazione e la migrazione ottica raramente vengono gestite al meglio come un unico progetto big-bang. L'implementazione graduale ti consente di apprendere, adattare e creare fiducia nell'organizzazione.

Elenco di controllo decisionale: l'interconnessione ottica è adatta alla tua iniziativa di disaggregazione?

• Le distanze dei collegamenti da rack-a-rack o da stanza-a-stanza superano la portata pratica del rame alla velocità target?
• Avete intenzione di implementare velocità di collegamento di 400G o superiori nel breve termine?
• Il consumo di energia derivante dall'interconnessione elettrica sta diventando una parte significativa del budget energetico del tuo data center?
• Stai valutando il pooling di memoria basato su CXL-, l'infrastruttura componibile o l'espansione del cluster GPU?
• Lo spiaggiamento delle risorse (calcolo inattivo, memoria o spazio di archiviazione bloccato all'interno di server fissi) è un problema di costo misurabile?
• Il tuo ambiente deve scalare elaborazione, memoria e archiviazione a velocità diverse?

Se si applicano tre o più di queste condizioni, l'interconnessione ottica merita una seria valutazione come parte della tabella di marcia di disaggregazione.

Domande frequenti

Cos'è l'interconnessione ottica in un data center?

L'interconnessione ottica è una tecnologia di trasporto che utilizza segnali luminosicavi in ​​fibra otticaper trasportare dati tra dispositivi di rete, server, switch, sistemi di storage e pool di risorse all'interno e tra data center. Offre larghezza di banda maggiore, portata più lunga e potenza per bit inferiore rispetto al rame a velocità equivalenti -, rendendolo particolarmente importante per le architetture disaggregate e orientate all'AI-.

In cosa differisce l'interconnessione ottica da CXL?

Operano a diversi livelli. L'interconnessione ottica è una tecnologia di trasporto fisico - sposta i bit dal punto A al punto B utilizzando la luce. CXL è uno standard di protocollo che definisce il modo in cui CPU, memoria e acceleratori comunicano in modo coerente. L'interconnessione ottica può trasportare traffico CXL, ma CXL circola anche su collegamenti elettrici per connessioni a breve-raggiungimento. I team spesso valutano entrambi simultaneamente perché la disaggregazione crea domanda sia per protocolli migliori (CXL) che per un migliore trasporto fisico (ottica).

Il rame e l'ottica possono coesistere in un data center disaggregato?

Sì, e in genere lo fanno. La maggior parte degli ambienti disaggregati utilizza il rame per connessioni intra-rack molto brevi (meno di 3-5 metri) dove rimane più semplice ed economico, e la fibra ottica per connessioni da rack-a-rack, da fila-a-fila e percorsi più lunghi dove i limiti di portata, potenza e densità del rame diventano vincolanti. La decisione dipende dall'ambito-non da tutto-o-niente.

Cos'è l'ottica co-confezionata e ne ho bisogno adesso?

L'ottica co-packaged (CPO) integra i motori ottici direttamente nello stesso package dell'ASIC dello switch o del processore, eliminando la necessità di ricetrasmettitori collegabili separati e riducendo il consumo energetico e la latenza. NVIDIA e Broadcom stanno implementando il CPO nelle piattaforme di rete AI di prossima-generazione. La maggior parte dei data center oggi non necessita di CPO -moduli ottici collegabilirimangono lo standard - ma il CPO è sulla tabella di marcia per un'infrastruttura AI su larga-scala nel periodo 2026-2028.

Quando NON dovrei perseguire la disaggregazione con l'interconnessione ottica?

Se i tuoi carichi di lavoro sono ben-bilanciati tra elaborazione, memoria e spazio di archiviazione; la tua scala è modesta (qualche dozzina di server); e la tua infrastruttura in rame esistente gestisce le tue esigenze di larghezza di banda attuali e a breve termine-senza stress - la complessità aggiuntiva della disaggregazione e della migrazione ottica potrebbe non valere l'investimento. Inizia con il collo di bottiglia, non con la parola d'ordine.

Quali tipi di fibra vengono utilizzati nell'interconnessione ottica dei data center?

Fibra mono-modaleviene utilizzato per collegamenti a-distanza più lunga e a-velocità più elevate (tipicamente da rack-a-rack e oltre).Fibra multimodaleè comune per connessioni intra-data-center più brevi, fino a poche centinaia di metri. La scelta dipende dalla portata, dalla velocità e dal profilo di costo richiesti per ciascun collegamento.