AI를 위한 광 네트워킹: GPU 상호연결을 위한 400ZR 및 코히런트 광학

2025년 12월 8일 업데이트

2025년 12월 업데이트: Cisco, Ciena, Infinera를 포함한 여러 공급업체에서 800G 코히런트 광학(800ZR+)이 출시되고 있습니다. 51.2T 스위치 용량에서 Co-packaged optics (CPO) 시연이 이루어졌습니다. Linear-drive pluggable 광학이 DSP 기반 솔루션 대비 전력을 40% 절감합니다. NVIDIA의 NVLink-C2C는 GB200 NVL72 랙에서 칩간 광 상호연결을 위해 실리콘 포토닉스를 사용합니다. AI 데이터센터 광학 시장은 링크당 400G+ 이상이 필요한 랙 규모 GPU 상호연결에 의해 2028년까지 82억 달러에 달할 것으로 예상됩니다.

Google의 TPU v5p 슈퍼컴퓨터는 10나노초 미만의 스위칭 시간으로 초당 4페타비트의 집계 대역폭을 제공하는 광 회로 스위치를 사용하여 8,960개의 칩을 상호연결함으로써 8.5 엑사플롭의 컴퓨팅 성능을 달성하며, 동적 토폴로지 재구성을 통해 기존 전자 스위칭 대비 2.7배 향상된 훈련 속도를 가능하게 합니다.¹ 이 검색 대기업의 광 상호연결은 100Gbps 링크당 5와트를 소비하는 반면 전자 스위치는 35와트를 소비하여 AI 인프라 전반에 걸쳐 연간 2,400만 달러의 전기 비용을 절약하는 7배의 전력 효율성 향상을 제공합니다. 기존 구리 케이블은 400Gbps 연결에서 3미터의 물리적 한계에 도달하여 데이터센터가 분산 훈련 중 그래디언트 계산을 손상시키는 전자기 간섭을 제거하면서 2킬로미터에 걸쳐 신호 무결성을 유지하는 광 상호연결을 채택하도록 강제하고 있습니다. AI용 광 네트워킹을 배포하는 조직들은 케이블링 복잡성 50% 감소, 지연 시간 변동 85% 감소, 특정 모델 아키텍처에 맞춰 네트워크 토폴로지를 동적으로 재구성할 수 있는 능력을 보고하고 있습니다.²

AI 모델 매개변수의 폭발적 증가—GPT-3의 1,750억에서 GPT-4의 1.7조로 추정—는 6개월마다 두 배가 되는 네트워크 대역폭을 요구하며, 이는 컴퓨팅에서의 무어의 법칙 개선을 훨씬 앞지릅니다.³ 장거리 통신에서 차용한 코히런트 광학 기술은 이제 400ZR 트랜시버로 데이터센터 내부에 나타나며, 기존 광학의 기가비트당 12달러 대비 4달러로 단일 모드 파이버를 통해 400Gbps를 제공합니다. 실리콘 포토닉스는 광학 구성요소를 GPU에 직접 통합하여 현재 네트워킹 전력 예산의 30%를 소비하는 전기-광학 변환을 제거할 것으로 약속됩니다. AI 인프라용 광 상호연결을 마스터하는 조직은 구리 기반 아키텍처로는 불가능한 뛰어난 대역폭 밀도, 낮은 전력 소비, 네트워크 유연성을 통해 지속 가능한 장점을 얻습니다.

데이터센터를 위한 코히런트 광학 기본 원리

코히런트 광학 기술은 광파의 진폭과 위상 모두에 정보를 인코딩하여 데이터센터 네트워킹을 혁신합니다:

코히런트 검출 원리: 기존 직접 검출은 빛의 강도만 측정하여 파장당 최대 100Gbps를 달성합니다. 코히런트 검출은 진폭, 위상, 편광 정보를 캡처하여 16-QAM 변조를 사용해 파장당 800Gbps를 가능하게 합니다.⁴ 디지털 신호 프로세서는 색분산과 편광 모드 분산을 실시간으로 보상합니다. 코히런트 수신기는 직접 검출보다 20dB 우수한 감도를 달성하여 증폭 없이 도달 거리를 10km에서 120km로 확장합니다.

400ZR 표준 구현: OIF 400ZR 사양은 데이터센터 상호연결에 최적화된 상호 운용 가능한 400Gbps 코히런트 인터페이스를 정의합니다.⁵ 16-QAM 변조는 이중 편광에 걸쳐 심볼당 4비트를 인코딩합니다. 연결된 전진 오류 정정은 10^-15 비트 오류율을 달성합니다. QSFP-DD 폼 팩터는 기존 인프라와의 하위 호환성을 유지합니다. 전력 소비는 15와트 미만으로 유지되어 고밀도 배포를 가능하게 합니다.

실리콘 포토닉스 통합: Intel의 실리콘 포토닉스 트랜시버는 레이저, 변조기, 검출기를 단일 칩에 통합합니다.⁶ CMOS 제조 공정은 개별 구성요소 대비 비용을 90% 절감합니다. 실리콘에 식각된 도파관은 0.1dB/cm 손실로 광 신호를 라우팅합니다. 마이크로 링 공진기는 칩상에서 파장 분할 다중화를 가능하게 합니다. 모놀리식 통합은 신뢰성 문제를 야기하는 광학 연결의 80%를 제거합니다.

AI 워크로드를 위한 코히런트 광학의 장점: - 직접 검출 대비 파이버당 8배 대역폭 - 증폭 스테이션 없이 100km 도달 - 광학 장애에 대한 디지털 보상 - 거리 요구사항에 맞는 유연한 변조 - 동적 라우팅을 가능하게 하는 파장 조정성 - 데이터 무결성을 보장하는 전진 오류 정정

네트워크 아키텍처 패턴

AI용 광 네트워크는 대역폭과 유연성에 최적화된 특별한 아키텍처 패턴을 따릅니다:

스파인-리프 광학 패브릭: 올-옵티컬 스파인-리프 아키텍처는 데이터 경로에서 전자 스위칭을 제거합니다. 리프 스위치는 400ZR 트랜시버를 사용하여 GPU 서버에 연결됩니다. 스파인 계층은 특정 람다를 라우팅하는 파장 선택 스위치를 사용합니다. 각 스파인-리프 링크는 400Gbps에서 32개 파장을 전달하여 총 12.8Tbps입니다. 광 증폭기는 광-전기-광 변환 없이 신호를 증폭합니다. GPU 간 동서 트래픽은 전자 스위칭을 완전히 우회합니다.

광 회로 스위칭: Google의 Jupiter 네트워크는 대용량 데이터 전송을 위해 광 회로 스위치를 사용합니다.⁷ 중앙 집중식 SDN 컨트롤러는 트래픽 수요에 따라 광 경로를 프로그래밍합니다. 회로 설정은 패킷 스위칭의 500나노초 대비 10나노초가 걸립니다. 전용 광 경로는 큐잉과 혼잡을 제거합니다. 훈련 작업은 일관된 성능을 보장하는 대역폭을 예약합니다. 동적 재구성은 변화하는 트래픽 패턴에 적응합니다.

분리된 광 네트워크: 광 전송을 패킷 처리 기능에서 분리합니다. 광 전송은 점대점 파장을 제공합니다. 패킷 처리는 네트워크 가장자리에서만 발생합니다. 데이터 경로에서 네트워크 장비의 60%를 제거합니다. 지연 시간을 5마이크로초에서 200나노초로 감소시킵니다. 광학 및 패킷 계층의 독립적 확장을 통해 운영을 단순화합니다.

포토닉 Clos 네트워크: Clos 네트워크에서 영감을 받은 다단계 광 스위칭 패브릭입니다. 실리콘 포토닉 스위치는 비차단 연결성을 제공합니다. 배열 도파관 격자는 전력 소비 없이 파장을 라우팅합니다. 3단계 아키텍처로 100,000 포트까지 확장합니다. 서브나노초 스위칭은 세밀한 트래픽 엔지니어링을 가능하게 합니다. 다중 광 경로를 통한 내결함성.

구현 모범 사례

성공적인 광 네트워크 배포는 확립된 관행을 따릅니다:

파이버 인프라 계획: 단일 모드 파이버는 코히런트 광학으로 최대 120km 거리를 지원합니다. OS2 등급 파이버 사양은 <0.4dB/km 감쇠를 보장합니다. 15mm의 최소 굽힘 반경은 미세굽힘 손실을 방지합니다. 컬러 코딩 및 라벨링 시스템은 잘못된 연결을 방지합니다. OTDR을 사용한 파이버 특성화는 배포 전 장애를 식별합니다. 향후 확장을 위해 20% 여유 파이버 용량을 유지합니다.

광 전력 관리: -10dBm과 +5dBm 사이의 출력 전력은 비선형 효과를 방지합니다. 광 증폭기는 파장 스펙트럼 전반에 걸쳐 일관된 전력을 유지합니다. 가변 광 감쇠기는 병렬 경로 간 전력의 균형을 맞춥니다. 각 연결 지점의 전력 모니터는 문제 해결을 가능하게 합니다. 자동 전력 제어는 구성요소 노화를 보상합니다. 안전 프로토콜은 보이지 않는 적외선 빛으로부터 눈 손상을 방지합니다.

파장 계획 및 관리: ITU-T 격자는 간섭을 피하는 표준 파장 채널을 정의합니다. DWDM 시스템은 C-밴드(1530-1565nm)에서 96개 채널을 지원합니다. 파장 할당 알고리즘은 경합을 방지합니다. 채널 간 가드 밴드는 누화를 줄입니다. 파장 락커는 2.5GHz 내에서 주파수 안정성을 유지합니다. 파장 변환은 유연한 라우팅을 가능하게 합니다.

테스트 및 검증: 비트 오류율 테스터는 프로덕션 전 링크 성능을 확인합니다. 광 스펙트럼 분석기는 신호 품질과 OSNR을 측정합니다. 편광 모드 분산 테스트는 장기 안정성을 보장합니다. 아이 다이어그램 분석은 신호 무결성을 확인합니다. 루프백 테스트는 특정 세그먼트의 문제를 격리합니다. 지속적인 모니터링은 고장 전 저하를 감지합니다.

Introl은 글로벌 커버리지 지역에 걸쳐 AI 인프라용 광 네트워킹 솔루션을 설계하고 배포하며, GPU 상호연결을 위한 코히런트 광학 및 실리콘 포토닉스에 대한 전문 지식을 보유하고 있습니다.⁸ 우리의 광학 엔지니어링 팀은 첨단 포토닉 기술을 사용하여 200개 이상의 고대역폭 AI 클러스터를 구현했습니다.

실리콘 포토닉스 혁명

실리콘 포토닉스는 광학 구성요소를 프로세서와 동일한 칩에 가져옵니다:

Co-packaged Optics: NVIDIA의 NVLink는 구리 케이블을 사용하여 도달 거리를 2미터로 제한합니다. Co-packaged optics는 트랜시버를 GPU 다이에서 밀리미터 떨어진 곳에 배치합니다. 100Gbps당 10와트를 소비하는 직렬화기/역직렬화기를 제거합니다. 지연 시간을 100나노초에서 10나노초로 감소시킵니다. GPU 패키지 에지당 1.6Tbps를 가능하게 합니다. Intel의 OCP 2.0은 51.2Tbps에서 co-packaged optics를 시연합니다.⁹

올-옵티컬 스위치: 포토닉 스위치는 변환 없이 광 신호를 라우팅합니다. MEMS 미러는 10마이크로초에 광선을 리디렉션합니다. 실리콘 포토닉 스위치는 나노초 재구성을 달성합니다. 정상 상태에서 전력 소비가 없습니다. 단일 칩에서 1000x1000 포트까지 확장됩니다. 전자 스위치 대비 95%의 전력을 제거합니다.

광학 컴퓨팅 상호연결: GPU와 CPU 간 광 링크로 PCIe를 대체합니다. 광학을 통한 CXL은 메모리 일관성 도메인을 랙 규모로 확장합니다. 캐시 일관성 광 패브릭은 10,000 GPU 클러스터를 가능하게 합니다. 광학 메모리 상호연결은 10TB/s 대역폭을 제공합니다. HBM 메모리 스택에 직접 광학 연결. Lightmatter의 Passage는 100Tbps 칩간 대역폭을 시연합니다.¹⁰

양자점 레이저: 실리콘에 통합된 양자점 레이저는 광원을 제공합니다. 온도에 둔감한 동작은 냉각 요구사항을 제거합니다. 100,000시간 수명은 전자 구성요소 신뢰성을 초과합니다. 레이저 배열은 대규모 병렬처리를 가능하게 합니다. 비트당 0.1피코줄의 에너지 효율성. 표준 반도체 공정을 사용한 대량 생산.

실제 광학 배포 사례

Meta의 AI Research SuperCluster: - 규모: 200Gbps 광 링크를 가진 16,000개의 A100 GPU - 대역폭: 초당 13페타비트 집계 패브릭 대역폭 - 아키텍처: 광 스파인 계층을 가진 3계층 Clos - 기술: 건물 간 링크를 위한 400ZR 코히런트 광학 - 지연시간: 2,000피트 캠퍼스에 걸쳐 1.5마이크로초 - 결과: 이전 인프라 대비 3배 빠른 모델 훈련

Microsoft Azure의 Project Sirius: - 혁신: AI 워크로드를 위한 올-옵티컬 스위칭 - 성능: 광 스위치당 12.8Tbps - 효율성: 전자 스위칭 대비 85% 전력 감소 - 규모: 100,000개의 GPU를 광학적으로 연결 - 스위칭: 서브마이크로초 광 회로 설정 - 영향: 훈련 비용 40% 감소

Alibaba Cloud의 광학 데이터센터: - 배포: 시설 전체에 400G 코히런트 광학 - 도달: 증폭 없이 40km 캠퍼스 연결 - 밀도: 광 스위칭을 사용한 랙당 38.4Tbps - 전력: 광 링크당 100Gbps당 3와트 - 유연성: 워크로드 기반 동적 파장 라우팅 - 절약: 연간 전력 비용 1,500만 달러 절감

Oak Ridge National Laboratory의 Frontier: - 컴퓨팅: 37,000개의 AMD MI250X GPU - 상호연결: 광 링크를 가진 Slingshot 패브릭 - 대역폭: 노드당 100GB/s 주입 대역폭 - 토폴로지: 광 그룹 연결을 가진 Dragonfly+ - 거리: 300미터 시설에 걸친 광 링크 - 성취: 세계 최초의 엑사스케일 시스템

전력 효율성 분석

광 네트워킹은 데이터센터 전력 소비를 극적으로 감소시킵니다:

링크 전력 비교 (100Gbps당): - 구리 DAC (3m): 35와트 - 액티브 광 케이블 (100m): 12와트 - 실리콘 포토닉스 (2km): 5와트 - 코히런트 광학 (40km): 3.5와트 - 미래 포토닉스: 1와트 미만 예상

시스템 수준 절약: Facebook의 패브릭 집계 계층은 90% 광 상호연결을 사용합니다. 전력 사용 효율성이 광 스위칭으로 1.4에서 1.15로 향상됩니다. 네트워크 장비 전력이 전체 데이터센터 부하의 15%에서 5%로 감소합니다.