광학 모듈 전력 소비 및 대역폭 밀도: 인공지능 데이터 센터 상호 연결의 어려운 한계

AI 데이터센터 네트워크는 더 이상 광 모듈의 최대 전송 속도로만 제한되지 않습니다. 더 어려운 질문은 시스템이 필요한 컴퓨팅 규모를 지원하기에 충분한 광학 링크에 전력을 공급하고 냉각하고 패키징하고 유지할 수 있는지 여부입니다.

스위치 용량이 51.2Tb/s 이상으로 증가하고 광 인터페이스가 400G 및 800G에서 1.6T 이상의 속도로 발전함에 따라 아키텍처 확장 가능 여부를 결정하는 두 가지 변수가 점점 더 많아지고 있습니다.

• 광모듈 소비전력

• 광 모듈 대역폭 밀도

이러한 변수는 밀접하게 연결되어 있습니다. 포트당 대역폭이 높을수록 일반적으로 전기 손실, 신호 처리 복잡성, 열 발생 및 냉각 수요가 증가합니다. 동일한 전면 패널에 더 많은 포트를 추가하면 열이 더 작은 공간에 집중됩니다.

결과적인 제한에는 광 모듈뿐만 아니라 스위치 ASIC, SerDes, PCB, 전원 공급, 냉각 시스템, 파이버 라우팅 및 유지 관리 모델도 포함됩니다.

광 모듈의 전력 및 대역폭 밀도 제한은 무엇입니까?

광학 모듈 전력 소비는 컴퓨팅에 사용할 수 있는 전기 및 열 용량을 제한하는 반면, 대역폭 밀도는 전기, 열, 기계 및 신뢰성 제한을 초과하지 않고 고정 패널, 패키지 또는 랙 영역 내에 설치할 수 있는 데이터 용량을 나타냅니다.

두 측정항목 모두 독립적으로 평가되어서는 안 됩니다. 과도한 전력을 사용하는 고대역폭 모듈은 동일한 랙에서 사용 가능한 컴퓨팅 용량을 감소시킬 수 있습니다. 모듈이 작을수록 물리적 밀도가 향상되는 동시에 섀시가 제거할 수 없는 열 유속이 생성될 수 있습니다.

시스템 제약으로 인한 전력 소비

랙에는 제한된 전력 및 냉각 예산이 있습니다. 광 링크에 사용되는 전력은 GPU, 메모리, 스위치 실리콘, 스토리지 및 지원 냉각 장비에서 사용할 수 없습니다.

포트 수가 적으면 모듈당 몇 와트만 추가하면 관리 가능한 것처럼 보일 수 있습니다. 그러나 수백 개의 포트와 수만 개의 링크에 걸쳐 차이가 주요 인프라 변수가 됩니다.

완전한 비교에는 다음이 포함되어야 할 수도 있습니다.

• 광링크의 양단

• SerDes 호스팅 및 타이밍 재설정

• DSP 및 FEC

• 레이저 소스 전력

• 전력 변환 손실

• 냉각 오버헤드

게시된 포트당 와트 값은 동일한 시스템 경계를 사용하지 않는 한 직접 비교할 수 없습니다.

열적 제약으로 인한 대역폭 밀도

대역폭 밀도는 모듈당 대역폭, 전면 패널 개구부, 랙 장치, 스위치 또는 와트를 나타낼 수 있습니다. 이러한 측정값은 서로 관련되어 있지만 서로 바꿔 사용할 수는 없습니다.

모듈 대역폭을 두 배로 늘려도 사용 가능한 스위치 밀도가 자동으로 두 배가 되지 않습니다. 시스템은 여전히 ​​충분한 전력을 제공하고, 신호 무결성을 유지하고, 열을 제거하고, 커넥터, 파이버, 케이지 및 서비스 액세스를 위한 공간을 남겨두어야 합니다.

더 높은 전력 수준에서 대역폭 밀도는 패널 크기보다는 열 제거에 점점 더 의존하게 됩니다.

단일 레인 속도 확장이 효율성을 잃는 이유

더 높은 광 대역폭을 향한 기존 경로는 더 빠른 전기 및 광 레인에 크게 의존해 왔습니다.

25G → 50G → 100G → 200G PAM4

이 경로는 여전히 중요하지만 모든 전환에는 더 까다로운 송신기, 수신기, 이퀄라이제이션, 코딩 및 신호 무결성 제어가 필요합니다. 성능과 복잡성이 반드시 유용한 처리량에 비례하여 확장되는 것은 아닙니다.

차선 비율이 높을수록 성능과 복잡성이 증가하는 이유

컴퓨팅 및 I/O 확장 격차

다음을 기반으로 한 분석Epoch AI 모델 데이터베이스프론티어 AI 모델을 훈련하는 데 사용되는 컴퓨팅은 2010년부터 2024년까지 연간 약 4~5배 증가한 것으로 추정됩니다.

이 비율은 모든 AI 워크로드가 아닌 최전선 훈련 실행에 적용됩니다. 그럼에도 불구하고 이는 대규모 가속기 클러스터 주변에서 통신 수요가 얼마나 빨리 증가할 수 있는지를 보여줍니다.

I/O 대역폭은 하나의 범용 배가 일정을 따르지 않습니다. 개발은 SerDes 로드맵, 스위치 실리콘, 광학 인터페이스, 패키징, 전원 공급 및 냉각에 따라 달라집니다.

실질적인 과제는 상호 연결이 컴퓨팅 시스템을 제한하지 않도록 충분히 빠르게 통신 용량을 확장하는 것입니다.

수신기 감도, DSP 및 FEC 페널티

PAM4는 4개의 진폭 레벨을 사용하여 기호당 2비트를 전달하지만 해당 레벨 간의 간격이 작을수록 NRZ에 비해 잡음 마진이 줄어듭니다.

안IEEE 802.3 기술 기여NRZ에 비해 PAM4에 대해 약 4.8dB의 이상적인 광 SNR 변조 패널티를 계산했습니다. 추가 페널티는 신호 대역폭 및 구현 조건에 따라 다릅니다.

이는 레인 속도가 두 배로 증가할 때마다 수신기 감도가 고정된 양만큼 저하된다는 의미는 아닙니다. 실제 성능은 전송 속도, 수신기 대역폭, 채널 손실, 균등화, 잡음, FEC 및 구현 마진에 따라 달라집니다.

DSP 및 FEC는 신호 품질을 복구하고 운영 마진을 확장할 수 있지만 전력을 소비하고 지연을 발생시킵니다. 따라서 단일 차선 속도 증가의 이점은 더 많은 전기 및 디지털 보상이 필요해짐에 따라 감소합니다.

광학 모듈 전력이 스위치 설계를 제한하는 방법

모듈 전원의 효과는 전체 스위치에 걸쳐 집계될 때 더욱 명확해집니다.

51.2T 전력 예산의 예

128 × 400G FR4 광 모듈로 채워진 예시적인 51.2Tb/s 스위치를 생각해 보십시오.

이 계산에서 광 모듈은 광 모듈과 스위치 ASIC 전력을 합친 전력의 약 58.7%를 차지합니다.

팬, 조정기, 제어 전자 장치 및 변환 손실은 포함되지 않기 때문에 이 백분율은 총 스위치 입력 전력을 나타내지 않습니다. 그럼에도 불구하고 이는 광 인터페이스가 스위칭 실리콘과 동일한 규모로 전력을 소비할 수 있음을 보여줍니다.

51.2T 스위치 광전력 예산

네트워크 전력 및 컴퓨팅 밀도

고정 전력 예산 하에서 네트워크 전력이 낮을수록 계산을 위해 더 많은 전기 및 열 용량을 방출할 수 있습니다.

2025년에는포토닉스 스위칭 발표, NVIDIA는 발표된 아키텍처의 전력 효율성이 명시된 기존 구현 기준에 비해 3.5배 더 높다고 보고했습니다.

이는 보편적인 CPO 효율성 요소가 아닌 플랫폼별 결과입니다. GPU 밀도에 대한 실제 효과는 포트 수, 토폴로지, 가속기 전력, 냉각 용량 및 랙 설계에 따라 달라집니다.

더 높은 광 출력의 세 가지 시스템 효과

광 모듈 전원의 세 가지 시스템 효과

전력 및 컴퓨팅 밀도

네트워크에서 소비하는 와트는 동일한 랙 엔벨로프 내의 다른 곳에 할당할 수 없습니다.

네트워크 성능이 높을수록 랙당 가속기 수가 줄어들고, 동일한 작업 부하에 대해 랙이 늘어나고, 스위치가 추가되고, 시설 냉각 수요가 높아질 수 있습니다.

따라서 광 모듈 전력은 구성 요소 사양뿐만 아니라 아키텍처 변수입니다.

전력 및 냉각 제한

플러그형 모듈이 800G를 넘어감에 따라 각 전면 패널 위치에서 더 많은 열을 제거해야 합니다.

그만큼OSFP MSA 기술 문서OSFP1600 폼 팩터는 1600G 데이터 센터 광학 장치에 30W 이상의 열 성능을 제공한다고 명시되어 있습니다. 이는 모든 모듈의 범용 전력 정격이 아닌 참조 열 포락선입니다.

실제 전력은 도달 범위, DSP 구현, 파장 수, 레이저 배열, 호스트 인터페이스 및 작동 온도에 따라 달라집니다.

충분히 높은 열 유속에서는 공기 흐름을 증가시키는 것이 덜 효과적입니다. 액체 냉각은 고출력 부품 근처의 냉각판으로 열을 전달하여 열 경로를 단축합니다.

ASHRAE 지침고성능 컴퓨팅 환경에서 40~45°C 범위의 직접 온수 냉각을 문서화합니다. 이는 모든 광학 모듈에 필요한 냉각수 온도를 정의하지는 않지만 온수 냉각이 확립된 데이터 센터 접근 방식임을 확인합니다.

전력, 온도 및 신뢰성

대규모 AI 패브릭에서는 구성 요소 수준의 오류 확률이 낮더라도 상당한 운영 부담이 발생할 수 있습니다.

작동 온도가 낮으면 여러 가지 성능 저하 메커니즘이 느려질 수 있지만 온도와 수명 사이의 관계는 장치와 고장 모드에 따라 달라집니다.

NIST 신뢰성 지침다양한 고장 모드에는 다양한 가속 모델이 필요할 수 있다고 설명합니다.

따라서 방어 가능한 신뢰성 분석에서는 관련 고장 메커니즘을 식별하고 작동 스트레스를 정의하며 데이터로 모델을 검증해야 합니다. 낮은 온도는 일반적으로 유익하지만 하나의 보편적인 수명 승수를 생성하지는 않습니다.

전면 패널이 대역폭 병목 현상을 일으키는 이유

AI 네트워크에는 높은 기수, 낮은 초과 구독 전환이 필요합니다. 하나의 스위치에 대역폭이 충분하지 않은 경우 추가 스파인 또는 슈퍼 스파인 단계가 필요할 수 있습니다.

추가 단계가 늘어날 수 있습니다.

• 숨어 있음

• 스위치 및 광 링크 수

• 소비전력

• 케이블 복잡성

• 실패점

• 비용

OSFP 밀도 및 네트워크 확장

그만큼OSFP MSA 참조 디자인51.2Tb/s의 총 처리량을 지원하는 32개의 OSFP1600 포트가 있는 1RU 스위치를 제공합니다.

이는 보편적인 물리적 한계가 아닌 참조 구성입니다. 그럼에도 불구하고 이는 폼 팩터 대역폭이 스위치 수와 네트워크 토폴로지에 어떻게 영향을 미칠 수 있는지 보여줍니다.

모듈 대역폭을 늘리면 필요한 물리적 포트 수가 줄어들 수 있지만, 이는 전원, 냉각, 전기 라우팅 및 광섬유 관리가 여전히 실용적인 경우에만 가능합니다.

대역폭 밀도는 궁극적으로 열 문제입니다

모듈을 더 작게 만들 수는 있지만 전력은 같은 속도로 감소하지 않을 수 있습니다. 그 결과 전면 패널 내에서 열 유속이 더 커집니다.

따라서 사용 가능한 밀도는 다음의 영향을 받습니다.

• 케이지 및 방열판 성능

• PCB 전원 공급

• 호스트 전기 라우팅

• 커넥터 및 섬유 밀도

• 냉각 시스템 용량

• 최대 구성요소 온도

높은 대역폭에서 폼 팩터의 실제 밀도는 전체 시스템이 제거할 수 있는 열의 양에 따라 결정됩니다.

전면 패널 밀도 및 XPO 열 아키텍처

XPO: 내장된 액체 냉각으로 더 높은 밀도

XPO는 약자초고밀도 플러그형 광학 장치.

2026년 3월,Arista, XPO 다중 소스 계약 발표. 발표된 아키텍처는 채널당 200Gb/s에서 64개 채널을 사용하여 모듈당 12.8Tb/s를 제공하고 개방형 컴퓨팅 랙 장치당 204.8Tb/s의 전면 패널 대역폭을 목표로 합니다.

이 개념은 Belly-to-Belly 이중 PCB 구조를 사용합니다.

• 고전력 구성 요소는 액체 냉각 구조를 향해 안쪽을 향하고 있습니다.

• 저전력 구성 요소는 바깥쪽을 향합니다.

• 냉각은 모듈 아키텍처에 통합되어 있습니다.

• 광학 어셈블리는 제거 가능한 상태로 유지됩니다.

204.8Tb/s 값은 하나의 랙 장치에 있는 128개의 물리적 모듈이 아닌 전면 패널 대역폭 용량을 나타냅니다.

XPO의 주요 디자인 주장은 서비스 가능성입니다. 병렬성을 높이고 열 경로를 개선하는 동시에 교체 가능한 모듈 모델을 유지하려고 시도합니다.

기존 플러그형 광학 장치, LPO, CPO 및 XPO

기존 플러그형 vs LPO vs CPO vs XPO

기존의 플러그형 광학 장치

기존의 플러그형 모듈은 고속 전기 트레이스를 통해 스위치 ASIC에 연결됩니다.

핫스왑 교체, 명확한 오류 격리, 독립적인 모듈 검증 및 성숙한 다중 공급업체 공급을 제공합니다.

그들의 주요 약점은 전기 경로입니다. 레인 속도가 높을수록 PCB 및 커넥터 손실로 인해 더 많은 균등화 및 신호 처리가 필요하며, 열은 여전히 ​​제한된 전면 패널 구조를 통해 제거되어야 합니다.

LPO

선형 플러그형 광학 장치기존 모듈 DSP를 제거하고 호스트와 모듈 사이의 아날로그 경로를 유지합니다.

그만큼LPO MSA 사양FEC, 리타이밍, 데이터 변환 등의 기능을 호스트에 할당하고 상호 운용성을 지원하기 위한 테스트 포인트를 정의합니다.

모듈 측 DSP를 제거하면 모듈 전력 및 처리 지연을 줄일 수 있지만 호스트 SerDes 품질, 채널 손실, 송신기 선형성, 수신기 잡음 및 링크 마진에 대한 요구 사항이 더 커집니다.

LPO에는 하나의 범용 전력, 대기 시간 또는 도달 값이 없습니다. 이는 전체 호스트와 광 링크에 따라 달라집니다.

CPO

함께 패키지된 광학 장치광학 엔진을 스위치 ASIC 가까이에 배치하여 최고 속도 전기 연결의 길이와 손실을 줄입니다.

이는 균등화, 리타이밍 및 전기 I/O 전력을 줄일 수 있지만 패키징, 광섬유 부착, 열 설계, 오류 격리 및 현장 수리에 문제를 야기합니다.

2023년에는광인터넷워킹 포럼(Optical Internetworking Forum)은 3.2T 공동 패키지 모듈 구현 계약을 발표했습니다.. 이는 이더넷 스위칭을 위한 3.2Tb/s 모듈을 정의하고 패키지 에지 대역폭 밀도의 밀리미터당 약 140Gb/s를 제공합니다.

2026년 5월 NVIDIA는 Spectrum-X 이더넷 포토닉스 스위치가 생산 중이라고 밝혔습니다. 이는 업계 전반의 CPO 채택을 의미하지는 않지만 중요한 상업적 이정표입니다.

XPO

XPO는 더 뛰어난 병렬성과 통합 액체 냉각을 사용하면서 탈착식 모듈을 유지합니다.

CPO와는 다른 균형을 제공합니다.

• 기존 플러그형 제품보다 밀도가 높음

• 직접 액체 냉각

• 현장 교체

• 패키지 수준 광학 통합에 대한 의존도 감소

남은 과제에는 전기 인터페이스 설계, 냉각판 통합, 광케이블 관리, 생산 인증 및 다중 공급업체 상호 운용성이 포함됩니다.

CWDM 및 DWDM CPO 비교

파장 아키텍처는 레이저 설계, 섬유 수, 패키징, 광 손실 및 통합 복잡성에 영향을 미칩니다.

동일한 측정 경계를 사용하지 않는 한 격리된 대기 시간 또는 비트당 에너지 값을 사용하여 CWDM 및 DWDM 구현을 비교할 수 없습니다.

대기 시간 값에는 다음이 포함되거나 제외될 수 있습니다.

• DSP 및 FEC

• 타이밍 재조정

• 버퍼링

• 호스트 인터페이스

• 스위치 처리

• 링크의 한쪽 또는 양쪽 끝

비트당 에너지는 다음과 같이 계산됩니다.

비트당 에너지 = 전력 ¼ 전달된 비트 전송률

그러나 계산에서는 모듈, 호스트 SerDes, 레이저, DSP, FEC, 스위치 인터페이스 및 냉각이 포함되는지 여부를 정의해야 합니다.

DWDM은 하나의 광섬유에 더 많은 파장을 배치하여 잠재적으로 밀도를 높이고 광섬유 수를 줄일 수 있습니다. 또한 더 엄격한 파장 제어, 안정적인 레이저 출력, 더 복잡한 광학 통합이 필요합니다.

단일 칩 다중 파장 소스가 평가 프로그램에 진입하고 있지만 생산 가치는 출력 전력, 파장 안정성, 효율성, 수율 및 수명에 따라 달라집니다.

DWDM은 본질적으로 모든 CPO 시스템에서 더 낮은 전력이나 대기 시간을 보장하지 않습니다. 결과는 전체 아키텍처에 따라 달라집니다.

수직 확장 및 수평 확장 상호 연결

스케일업 및 스케일아웃 광 상호 연결

스케일업

Scale-Up 네트워크는 긴밀하게 조정된 하나의 시스템으로 작동해야 하는 가속기를 연결합니다.

구리는 가격이 저렴하고 전기적으로 간단하기 때문에 근거리에서 여전히 매력적입니다. 신호 속도와 채널 손실이 증가함에 따라 사용 가능한 도달 범위가 더욱 제한됩니다.

발표된 시스템 연구에서는 현재의 고속 구리 링크가 연구된 데이터 센터 환경에서 짧은 랙 내 거리로 제한되는 것으로 설명했습니다.

400G의 구리 도달 범위는 구현에 따라 다릅니다. 이는 케이블 설계, 커넥터 수, 균등화, 삽입 손실 예산 및 사용 가능한 전력에 따라 다릅니다.

광 I/O 및 CPO는 구리가 더 이상 필요한 대역폭, 라우팅 밀도, 거리 및 효율성 조합을 제공할 수 없을 때 더욱 매력적입니다.

확장형

Scale-Out 네트워크는 스위치를 통해 서버와 랙을 연결합니다.

더 긴 도달 범위, 높은 스위치 기수, 많은 포트 수 및 실용적인 현장 교체가 필요합니다.

기존 플러그형 LPO, CPO 및 XPO는 이 문제의 다양한 부분을 해결합니다.

• LPO는 모듈측 처리를 줄입니다.

• CPO는 전기 경로를 단축합니다.

• XPO는 플러그형 밀도와 냉각 용량을 증가시킵니다.

전환은 하나의 보편적 채택 날짜가 아닌 특정 표준 및 제품 이정표를 통해 이해되어야 합니다.

엔지니어링 선택 프레임워크

아키텍처 선택은 게시된 가장 낮은 모듈 전력 값이 아닌 시스템 요구 사항부터 시작해야 합니다.

주요 질문은 다음과 같습니다.

• 어떤 도달 범위가 필요합니까?

• 어떤 전력 또는 비트당 에너지 제한이 적용됩니까?

• 현장 교체가 필수인가요?

• 어떤 냉각 시스템을 사용할 수 있나요?

• 측정되는 지연 시간 경계는 무엇입니까?

• 다중 공급업체 상호 운용성이 필요합니까?

비트당 에너지를 주의 깊게 비교하세요

더 높은 전력 모듈은 훨씬 더 많은 사용 가능한 대역폭을 제공하는 경우 비트당 에너지가 더 낮을 수 있습니다.

모든 비교에서는 비트 전송률, 방향, 링크 끝 수, DSP/FEC 경계, 레이저 전력, 호스트 처리 및 냉각 오버헤드를 정의해야 합니다.

도달범위 및 링크 마진 평가

저전력 아키텍처는 더 엄격한 채널 마진으로 작동할 수 있습니다.

전송 거리, 종단 간 링크 예산, 호스트 전기 채널 품질, 작동 온도, 구성 요소 변형 및 노후화 조건을 고려하여 선택해야 합니다.

냉각 및 유지 관리 가능성 평가

모듈의 공칭 전력은 모든 섀시가 모듈을 냉각할 수 있음을 증명하지 않습니다.

시스템은 교체 가능한 장치도 정의해야 합니다. 기존 플러그형은 간단한 모듈 교체를 제공하는 반면, 더 큰 통합으로 인해 수리 범위가 라인 카드, 패키지 또는 스위치 어셈블리로 이동할 수 있습니다.

생태계 성숙도 평가

기술적 성과와 생태계 성숙도는 다른 질문입니다.

새로운 아키텍처는 안정적인 사양, 여러 공급업체, 공통 테스트 방법, 입증된 상호 운용성 또는 확립된 수리 절차를 갖추기 전에도 강력한 결과를 보여줄 수 있습니다.

전력 밀도 제약이 AI 인프라에 미치는 영향

미래의 대역폭 증가는 한 채널의 속도 증가에만 의존할 수 없습니다.

다음의 조합이 필요합니다.

• 병렬 채널

• 파장 다중화

• 더 짧은 전기 경로

• 보다 효율적인 포장

• 저손실 재료

• 향상된 열 설계

열 유속이 증가함에 따라 더 큰 외부 방열판은 반환 효과를 감소시킵니다. 냉각은 열원에 더 가깝게 이동하여 광학 아키텍처의 일부가 되어야 합니다.

또한 적절한 작동 온도, 장애 모드별 검증, 수리 가능한 시스템 경계 및 네트워크 수준 이중화를 통해 신뢰성을 해결해야 합니다.

광 모듈, 스위치 ASIC, 패키지, PCB, 냉각 시스템 및 네트워크 토폴로지가 점점 더 하나의 시스템으로 설계되어야 합니다.

자주 묻는 질문

광 모듈은 왜 그렇게 많은 전력을 소비합니까?

고속 모듈에는 레이저 드라이버, 수신기, 균등화, DSP 및 FEC가 필요한 경우가 많습니다. 전기 채널 손실과 차선 속도가 증가함에 따라 전력도 증가합니다.

광 모듈 대역폭 밀도를 제한하는 것은 무엇입니까?

주요 제한 사항은 전면 패널 공간, 전원 공급, 전기 라우팅, 광섬유 관리 및 냉각 용량입니다.

LPO, CPO, XPO는 어떻게 다른가요?

LPO는 모듈 DSP를 제거하고, CPO는 광학 장치를 ASIC에 가깝게 배치하며, XPO는 탈착식 모듈을 높은 병렬성과 액체 냉각 기능과 결합합니다.

CPO는 항상 전력을 덜 사용합니까?

항상 그런 것은 아닙니다. 결과는 레이저, 호스트 인터페이스, DSP/FEC 경계, 냉각 및 포함된 시스템 부분에 따라 달라집니다.

온도가 신뢰성에 영향을 미치는 이유는 무엇입니까?

많은 열화 메커니즘은 더 높은 온도에서 가속화되지만 정확한 관계는 장치 및 고장 모드에 따라 다릅니다.

Scale-Up과 Scale-Out에 어떤 아키텍처가 더 적합합니까?

Scale-Up은 구리, 광 I/O 및 CPO와 같은 단거리, 대기 시간이 짧은 솔루션을 선호합니다. 스케일 아웃은 도달 범위, 스위치 밀도 및 서비스 가능성에 더 중점을 둡니다.