분산 학습을 위한 대역폭 최적화: 400Gbps 이상 네트워크 트래픽 관리

2025년 12월 8일 업데이트

2025년 12월 업데이트: 프론티어 모델은 이제 GPU당 800Gbps 이상의 인터커넥트가 필요하며, GB200 NVL72는 랙 내에서 1.8TB/s NVLink 대역폭을 사용합니다. NCCL 2.20 이상이 Blackwell 아키텍처에 최적화되었습니다. Ring-allreduce는 점차 다중 랙 토폴로지에 최적화된 계층적 알고리즘으로 대체되고 있습니다. Blackwell에서 FP8 학습을 통해 그래디언트 압축이 100배 감소를 달성하고 있습니다. Microsoft의 DeepSpeed-Ulysses는 최적화된 시퀀스 병렬 처리 통신을 통해 100K 이상의 컨텍스트 윈도우 학습을 가능하게 합니다.

25,000개의 GPU에서 GPT-4를 분산 학습하면 매시간 400테라바이트의 네트워크 트래픽이 발생하며, 대역폭 병목 현상이 발생하면 수백만 달러의 유휴 컴퓨팅 비용이 낭비될 수 있습니다. Meta가 LLaMA 모델을 학습할 때, 네트워크는 초당 1.6테라비트의 그래디언트 교환 트래픽을 유지하며, 통신이 제한 요소가 되지 않도록 정교한 최적화가 필요합니다. 최적화된 네트워크 활용과 단순한 활용의 차이는 학습 시간을 3배 연장하고 대규모 모델 학습에서 비용을 5천만 달러까지 증가시킬 수 있습니다. 이 가이드에서는 분산 AI 학습에서 극도의 대역폭 요구 사항을 관리하기 위한 검증된 기술을 살펴봅니다.

분산 학습의 네트워크 트래픽 패턴

All-reduce 연산은 분산 학습 통신을 지배하며, 대규모 모델 학습 중 네트워크 대역폭의 89%를 소비합니다. 각 학습 반복에서 모든 GPU는 계산된 그래디언트를 다른 모든 GPU와 공유해야 하며, 이는 N²/2개의 네트워크 플로우를 생성하는 N-to-N 통신 패턴을 만듭니다. 512개의 GPU에서 700억 파라미터 모델을 학습하는 경우, 이는 2초마다 동기화해야 하는 280GB의 그래디언트 데이터로 변환되며, 140GB/s 또는 1.12Tbps의 총 대역폭이 필요합니다.

파라미터 서버 아키텍처는 중앙 집중식 병목 현상이 있는 다른 트래픽 패턴을 생성합니다. 워커 노드는 그래디언트를 파라미터 서버로 전송하고, 파라미터 서버는 이를 집계하여 업데이트된 가중치를 재배포합니다. 이 허브-앤-스포크 패턴은 대역폭 요구 사항을 파라미터 서버에 집중시키며, 파라미터 서버는 그래디언트 볼륨의 2N배를 처리해야 합니다. 파라미터 서버를 사용하는 Amazon의 추천 모델은 트래픽의 90%가 노드의 10%만을 통과하므로 혼잡을 방지하기 위해 신중한 네트워크 토폴로지 계획이 필요합니다.

파이프라인 병렬 처리는 인접한 파이프라인 단계 간에 포인트-투-포인트 트래픽을 생성합니다. 활성화는 파이프라인을 통해 순방향으로 흐르고 그래디언트는 역방향으로 흐르며, 양방향 트래픽 패턴을 생성합니다. 각 파이프라인 경계는 대규모 모델의 경우 배치당 약 10GB의 활성화 데이터를 전송합니다. Microsoft의 DeepSpeed 파이프라인 구현은 계산과 통신을 중첩하는 신중한 스케줄링을 통해 95%의 대역폭 효율성을 달성합니다.

데이터 병렬 처리 트래픽은 모델 크기에 따라 선형적으로 확장되지만 GPU 수에 관계없이 일정하게 유지됩니다. 각 GPU는 병렬 처리 정도에 관계없이 전체 그래디언트 텐서를 받아야 합니다. 1,750억 파라미터 모델은 100개 또는 1,000개의 GPU에서 학습하든 반복당 700GB의 그래디언트 데이터를 생성합니다. 이 특성은 대역폭 요구 사항을 예측 가능하게 만들지만 대규모 모델에서는 상당합니다.

텐서 병렬 처리는 모델 레이어 내에서 세분화된 통신을 생성합니다. GPU 간에 분할된 행렬 곱셈은 계산 중간에 중간 결과 교환이 필요합니다. 이는 엄격한 동기화 요구 사항이 있는 지연 시간에 민감한 트래픽을 생성합니다. NVIDIA의 Megatron 구현은 계산 중첩을 통해 텐서 병렬 통신 지연 시간의 70%를 마스킹하지만, 여전히 텐서 병렬 GPU 간에 200Gb/s 대역폭이 필요합니다.

최적화 기술 및 전략

그래디언트 압축은 최소한의 정확도 영향으로 통신량을 10-100배 줄입니다. 희소화(sparsification)는 일반적으로 크기 기준 상위 1%인 top-k 그래디언트만 전송합니다. 양자화는 그래디언트 정밀도를 32비트에서 8비트 또는 심지어 1비트 표현으로 줄입니다. 오류 피드백 메커니즘은 압축 오류를 로컬에서 누적하여 수렴 속성을 유지합니다. Microsoft의 1-bit Adam은 BERT 학습에서 정확도 손실 없이 94% 압축을 달성합니다.

Ring-allreduce 알고리즘은 단순한 브로드캐스트 접근 방식에 비해 대역폭 요구 사항을 최소화합니다. 그래디언트는 각 GPU가 한 이웃에서 받고 다른 이웃으로 보내는 논리적 링을 따라 흐릅니다. 이는 단일 링크를 통과하는 데이터가 (N-1)/N만 필요하여 최적의 대역폭 활용을 달성합니다. NVIDIA의 NCCL 라이브러리는 이론적 네트워크 용량의 90%를 달성하는 대역폭 최적 링 알고리즘을 구현합니다.

계층적 리덕션은 네트워크 토폴로지를 활용하여 스위치 간 트래픽을 최소화합니다. 랙 내 로컬 리덕션이 랙 간 글로벌 리덕션에 선행합니다. 이는 랙당 GPU 수(일반적으로 8배)만큼 랙 간 트래픽을 줄입니다. Google의 TPU 파드는 3단계 계층적 리덕션을 구현하여 트래픽의 70%를 로컬 스위치 내에 유지합니다. 적절한 계층 설계는 광역 네트워크 요구 사항을 90%까지 줄일 수 있습니다.

여러 마이크로배치에 걸친 그래디언트 누적은 통신 오버헤드를 상각합니다. 각 마이크로배치 후 동기화하는 대신, 그래디언트가 주기적 동기화 전에 로컬에서 누적됩니다. 이는 누적 단계에 비례하여 통신 빈도를 줄입니다. OpenAI의 GPT-3 학습은 8개의 마이크로배치에 걸쳐 그래디언트를 누적하여 동등한 수학적 결과로 네트워크 트래픽을 87.5% 줄였습니다.

통신 스케줄링은 지연 시간을 숨기기 위해 데이터 전송과 계산을 중첩합니다. 레이어 N이 계산하는 동안 레이어 N-1의 그래디언트가 백그라운드에서 전송됩니다. 이 파이프라이닝은 피크 버스트 용량이 아닌 계산 속도와 일치하는 대역폭만 필요합니다. 적절한 스케줄링은 지속적인 네트워크 통신에도 불구하고 95%의 GPU 활용률을 달성합니다. DeepSpeed의 통신 스케줄러는 프로파일링 데이터를 기반으로 중첩 패턴을 자동으로 최적화합니다.

고대역폭을 위한 인프라 설계

네트워크 토폴로지는 달성 가능한 대역폭과 학습 성능에 결정적인 영향을 미칩니다. Fat-tree 아키텍처는 전체 이분 대역폭을 제공하여 회선 속도로 모든 대 모든 통신을 가능하게 합니다. 3:1 오버서브스크립션의 Leaf-spine 설계는 대부분의 워크로드에 대해 비용과 성능의 균형을 맞춥니다. Dragonfly 토폴로지는 지능적인 라우팅을 통해 높은 대역폭을 유지하면서 스위치 수를 줄입니다. Meta의 Research SuperCluster는 2Pbps 총 대역폭을 달성하는 3계층 Clos 네트워크를 사용합니다.

InfiniBand 배포는 AI 워크로드에 대해 Ethernet보다 우수한 대역폭과 지연 시간을 제공합니다. NDR 400Gb/s InfiniBand는 포트당 400Gbps를 1마이크로초 미만의 지연 시간으로 제공합니다. 커널 네트워크 스택을 우회하는 RDMA는 CPU 오버헤드를 거의 0으로 줄입니다. 적응형 라우팅은 여러 경로에 걸쳐 부하를 자동으로 분산합니다. NVIDIA의 Selene 슈퍼컴퓨터는 InfiniBand만 사용하여 4,480개의 GPU에서 95%의 확장 효율성을 달성합니다.

Ethernet의 발전은 InfiniBand보다 낮은 비용으로 경쟁력 있는 성능을 제공합니다. 400GbE 및 새로운 800GbE 표준은 InfiniBand 대역폭 수준에 근접합니다. RoCEv2(RDMA over Converged Ethernet)는 Ethernet 네트워크에서 커널 우회를 가능하게 합니다. 그러나 Ethernet은 흐름 제어, QoS 및 혼잡 관리의 신중한 구성이 필요합니다. Amazon의 EFA(Elastic Fabric Adapter)는 특정 워크로드에서 Ethernet이 InfiniBand와 일치할 수 있음을 보여줍니다.

스위치 선택은 대역폭과 지연 시간 특성 모두에 상당한 영향을 미칩니다. Broadcom Tomahawk 스위치는 경쟁력 있는 가격으로 높은 포트 밀도를 제공하지만 지연 시간이 더 높습니다. Intel Tofino 프로그래머블 스위치는 커스텀 혼잡 제어 알고리즘을 가능하게 합니다. NVIDIA Spectrum 스위치는 직접 데이터 배치를 위해 GPU 메모리와 통합됩니다. 스위치 버퍼 깊이는 패킷을 드롭하지 않고 버스트 트래픽을 수용해야 합니다. 적절한 스위치 선택은 유효 대역폭을 30% 향상시킬 수 있습니다.

케이블 플랜트 설계는 고속에서 신호 무결성에 영향을 미칩니다. DAC(Direct Attach Copper) 케이블은 400Gbps에서 3미터 미만 거리에서 작동합니다. AOC(Active Optical Cable)는 낮은 전력 소비로 100미터까지 도달 범위를 확장합니다. 단일 모드 광섬유는 캠퍼스 규모 배포를 가능하게 하지만 비싼 트랜시버가 필요합니다. 케이블 품질은 재전송을 트리거하여 유효 대역폭을 줄이는 비트 오류율에 직접 영향을 미칩니다. Google의 데이터 센터는 일관된 성능을 위해 AOC를 표준화합니다.

혼잡 제어 및 트래픽 관리

TCP 혼잡 제어 알고리즘은 AI 클러스터에서 일반적인 고대역폭, 저지연 네트워크에서 어려움을 겪습니다. CUBIC과 같은 전통적인 알고리즘은 보수적인 성장률로 인해 사용 가능한 대역폭을 충분히 활용하지 못합니다. Data Center TCP(DCTCP)는 ECN 마킹을 사용하여 얕은 큐와 높은 활용률을 유지합니다. Google의 Swift 혼잡 제어는 마이크로초 수준의 지연 시간으로 99%의 링크 활용률을 달성합니다. 적절한 혼잡 제어 선택은 유효 대역폭을 40% 향상시킵니다.

QoS(Quality of Service) 구성은 보조 플로우보다 그래디언트 트래픽에 우선순위를 부여합니다. DSCP 마킹은 우선 처리를 위해 학습 트래픽을 식별합니다. PFC(Priority Flow Control)는 중요한 트래픽의 패킷 손실을 방지합니다. 가중 공정 큐잉은 다른 트래픽 클래스에 비례하여 대역폭을 할당합니다. 이러한 메커니즘은 경쟁 워크로드에도 불구하고 학습 트래픽이 필요한 대역폭을 받도록 보장합니다. Microsoft Azure의 AI 인프라는 트래픽 차별화를 위해 8개의 QoS 클래스를 사용합니다.

여러 경로에 걸친 로드 밸런싱은 총 대역폭 활용률을 최대화합니다. ECMP(Equal-Cost Multi-Path) 라우팅은 병렬 링크에 플로우를 분산합니다. 적응형 라우팅은 혼잡과 장애에 동적으로 조정됩니다. 패킷당 스프레이는 가장 세밀한 로드 밸런스를 달성하지만 재정렬을 유발할 수 있습니다. Facebook의 패브릭은 모든 링크에서 동시에 95% 활용률을 달성하는 적응형 라우팅을 사용합니다.

버퍼 관리는 지연 시간을 최소화하면서 패킷 손실을 방지합니다. 얕은 버퍼는 큐잉 지연을 줄이지만 버스트 중 드롭 위험이 있습니다. 깊은 버퍼는 트래픽 버스트를 수용하지만 지연 시간을 증가시킵니다. AQM(Active Queue Management)은 큐 점유율에 따라 드롭 확률을 동적으로 조정합니다. AI 워크로드에 대한 최적의 버퍼 크기는 일반적으로 링크 대역폭의 100-200마이크로초입니다. 이 균형 작업은 유효 처리량에 상당한 영향을 미칩니다.

흐름 제어 메커니즘은 빠른 송신자가 느린 수신자를 압도하는 것을 방지합니다. InfiniBand의 크레딧 기반 흐름 제어는 소스에서 혼잡을 방지합니다. Ethernet의 Priority Flow Control은 잘못 구성되면 헤드 오브 라인 블로킹을 유발할 수 있습니다. 수신자 주도 흐름 제어는 정확한 속도 매칭을 허용합니다. 적절한 흐름 제어 구성은 비용이 많이 드는 재전송을 트리거하는 패킷 손실을 방지합니다.

모니터링 및 성능 분석

대역폭 활용 메트릭은 네트워크 용량이 학습 성능을 제한하는지 여부를 나타냅니다. 링크 활용률은 버스트를 수용하기 위해 평균 60-80%이고 피크가 95% 미만이어야 합니다. 마이크로버스트 감지는 일시적인 혼잡을 포착하기 위해 밀리초 미만의 샘플링이 필요합니다. 지속적인 높은 활용률은 용량 확장이 필요함을 나타냅니다. Alibaba의 모니터링은 92% 피크로 학습 네트워크 전체에서 73%의 평균 활용률을 보여줍니다.

지연 시간 프로파일링은 학습 반복 시간에 영향을 미치는 통신 병목 현상을 식별합니다. All-reduce 완료 시간은 GPU 활용률과 학습 속도에 직접 영향을 미칩니다. 동기화된 연산의 경우 평균보다 꼬리 지연 시간이 더 중요합니다. 총 반복 시간에 대한 네트워크 기여도는 25% 미만이어야 합니다. 프로파일링 도구는 정확한 귀속을 위해 네트워크 이벤트를 GPU 타임라인과 상관시켜야 합니다.

패킷 손실 모니터링은 네트워크 문제가 학습에 상당한 영향을 미치기 전에 감지합니다. 0.01%의 손실률도 재전송으로 인해 유효 대역폭을 10% 줄일 수 있습니다. 손실 패턴은 문제가 체계적인지 무작위인지 나타냅니다. 특정 스위치 또는 링크와의 상관관계는 장애 구성 요소를 식별합니다. 패킷 손실에 대한 자동 알림은 연장된 학습 지연을 방지합니다.

트래픽 패턴 분석은 실제 워크로드에 대한 네트워크 구성을 최적화합니다. 히트맵은 GPU 쌍 간의 통신 패턴을 시각화합니다. 시간적 분석은 주기적 패턴과 이상을 나타냅니다. 불균형 트래픽은 최적이 아닌 병렬화 전략을 나타냅니다. 이 분석은 토폴로지 최적화 및

[번역을 위해 콘텐츠 잘림]