GPU 클러스터 문제 해결: 일반적인 이슈와 해결 플레이북

2025년 12월 8일 업데이트

2025년 12월 업데이트: 액체 냉각 장애가 현재 인시던트 카테고리 1위를 차지—CDU 이슈, 냉각수 오염, 에어 락. NVIDIA DCGM 3.3+가 H100/H200 진단 범위를 개선 중. XID 오류 코드가 Blackwell 아키텍처용으로 업데이트됨. 메모리 오류 패턴(ECC 보정, 로우 리매핑)이 예측적 장애 감지에 점점 더 많이 사용됨. NVLink 진단이 멀티 GPU 학습 이슈에 필수적.

GPU 클러스터는 기존 컴퓨팅 인프라와 다른 방식으로 장애가 발생합니다. 512노드 학습 클러스터에서 단일 성능 저하 GPU가 전체 처리량을 40%까지 감소시킬 수 있습니다. CPU 워크로드에서는 허용될 수 있는 메모리 오류가 학습에서는 즉각적인 실패를 유발합니다. 마이크로초 단위의 네트워크 지연 스파이크가 분산 학습 효율성을 파괴합니다. 이 플레이북은 GPU 인프라 고유의 장애 모드를 진단하고 해결하기 위한 체계적인 접근 방식을 제공합니다.

하드웨어 장애 패턴과 진단

GPU 하드웨어 장애는 세 가지 주요 패턴으로 나타납니다: 즉각적 장애, 성능 저하, 간헐적 오류. 즉각적 장애는 일반적으로 NVIDIA 배포에서 XID 오류를 트리거하며, XID 79(GPU has fallen off the bus)는 Meta의 인프라 보고서에 따르면 H100 배포의 3.2%에서 첫 해에 발생합니다. 이러한 장애는 근본 원인을 파악하기 위해 체계적인 격리가 필요합니다.

NVIDIA Data Center GPU Manager(DCGM)는 dcgmi diag 명령을 통해 포괄적인 하드웨어 진단을 제공합니다. 레벨 3 진단은 12분간 실행되며, 부하 상태에서 메모리 대역폭, PCIe 처리량, NVLink 연결성, 열 동작을 테스트합니다. Microsoft의 Azure GPU 플릿은 100,000개의 GPU에서 DCGM 진단을 매일 밤 실행하여 고객에게 영향을 미치기 전에 성능 저하 하드웨어를 식별합니다. 그들의 자동화된 파이프라인은 15% 성능 저하를 보이는 GPU를 프로덕션 풀에서 제거합니다.

메모리 오류가 GPU 장애 통계를 지배합니다. H100 GPU의 High Bandwidth Memory(HBM)는 3.35TB/s로 작동하여 하드 및 소프트 오류 모두에 취약합니다. ECC(Error-Correcting Code)는 단일 비트 오류를 잡아내지만, 수정 불가능한 더블 비트 오류(DBE)는 즉각적인 GPU 교체가 필요합니다. Google Cloud의 분석에 따르면 HBM 오류는 75°C 이상에서 기하급수적으로 증가하며, 이 임계값을 넘어 5°C 상승할 때마다 장애율이 두 배로 증가합니다.

PCIe 인터페이스 장애는 대역폭 저하 또는 완전한 링크 손실로 나타납니다. nvidia-smi -q 명령은 현재 세대와 폭을 보여주는 PCIe 링크 상태를 표시합니다. H100 GPU는 전체 128GB/s 대역폭을 위해 PCIe Gen5 x16이 필요합니다. Gen4 속도로의 저하는 대역폭을 64GB/s로 줄여 모델 로딩 시간을 50% 증가시킵니다. Lambda Labs는 BIOS 잘못된 구성으로 인해 GPU 서버의 8%가 감소된 PCIe 속도로 작동하여 연간 230만 달러의 활용도 손실이 발생했음을 발견했습니다.

전원 공급 장애는 완전한 장애 전에 미묘한 성능 문제를 만듭니다. H100 보드의 Voltage Regulator Modules(VRM)는 1.1V 코어 전압에서 700A를 처리합니다. 저하된 VRM은 전력 스로틀링을 유발하여 GPU 주파수를 1.98GHz에서 1.2GHz까지 낮춥니다. 모니터링 도구는 순간 및 평균 전력 소비를 모두 추적해야 합니다. CoreWeave는 차등 전력 모니터링을 구현하여 GPU 간 동일한 워크로드를 비교하여 고객에게 영향을 미치기 전에 5% 전력 공급 저하를 식별합니다.

드라이버 및 펌웨어 이슈

NVIDIA의 지원 통계에 따르면 드라이버 버전 불일치가 GPU 클러스터 이슈의 31%를 차지합니다. 특정 드라이버 버전용으로 컴파일된 CUDA 애플리케이션은 드라이버 업데이트 시 알 수 없는 이유로 실패합니다. nvidia-smi 도구는 드라이버 버전 545.23.08을 보여주지만, 애플리케이션은 특정 CUDA 기능을 위해 535.104.12가 필요할 수 있습니다. 버전 고정은 자동 업데이트를 방지하지만 수동 보안 패치 관리가 필요합니다.

클러스터 전체의 펌웨어 동기화는 분산 학습에 매우 중요합니다. GPU 간 NVLink 펌웨어 불일치는 알 수 없는 NCCL 오류로 집합 연산 실패를 유발합니다. nvidia-smi -q | grep "VBIOS Version" 명령은 최적의 성능을 위해 정확히 일치해야 하는 펌웨어 버전을 표시합니다. OpenAI의 GPT-4 학습 클러스터는 특정 펌웨어 버전으로 표준화하며, 어떤 편차도 자동 노드 격리를 트리거합니다.

드라이버 메모리 누수는 몇 주간의 운영에 걸쳐 누적됩니다. 적절한 정리 없는 CUDA 컨텍스트 생성은 시스템 메모리를 소비하여 사용 가능한 VRAM에도 불구하고 결국 메모리 부족 오류를 유발합니다. nvidia-smi 명령은 0MB 사용을 보여주지만, lsof는 수천 개의 고아 파일 디스크립터를 표시합니다. Anthropic의 인프라는 1000개 이상의 열린 파일 디스크립터를 보이는 GPU 드라이버를 자동으로 재시작하여 메모리 고갈을 방지합니다.

nouveau(오픈 소스)와 독점 NVIDIA 드라이버 간의 커널 모듈 충돌은 초기화 실패를 만듭니다. lsmod | grep nouveau 명령은 블랙리스트에 추가해야 하는 충돌 모듈을 표시합니다. Ubuntu 22.04 시스템은 /etc/modprobe.d/blacklist-nouveau.conf에서 명시적 블랙리스팅이 필요하며, 부팅 중 로딩을 방지하기 위해 update-initramfs -u가 뒤따릅니다. Canonical의 지원 데이터에 따르면 이 이슈는 새 배포의 12%에 영향을 미칩니다.

컨테이너 런타임 잘못된 구성은 올바른 드라이버 설치에도 불구하고 GPU 접근을 방지합니다. NVIDIA Container Toolkit 버전 1.14.0은 NVIDIA_VISIBLE_DEVICES 환경 변수를 통한 명시적 장치 선택을 요구하는 호환성 깨는 변경사항을 도입했습니다. --gpus all 플래그 없이 시작된 Docker 컨테이너는 작동하는 것처럼 보이지만 예상 속도의 1/100인 CPU 전용 계산을 수행합니다. Kubernetes 배포는 적절한 GPU 스케줄링을 위해 pod 사양에 nvidia.com/gpu 리소스 제한이 필요합니다.

열 관리 문제

열 스로틀링은 안전 셧다운을 트리거하기 전에 GPU 성능을 저하시킵니다. H100 GPU는 83°C에서 스로틀링하여 임계값 이상 각 도마다 클럭 속도를 15MHz 감소시킵니다. 프로덕션 배포는 최적의 성능을 위해 75°C 이하의 온도를 유지해야 합니다. nvidia-smi -q -d TEMPERATURE 명령은 사전 모니터링을 위한 현재, 최대, 스로틀 온도를 제공합니다.

액체 냉각 장애는 고유한 진단 과제를 제시합니다. 20%의 유량 저하는 GPU 온도를 8-10°C 증가시킵니다. CDU(Coolant Distribution Unit) 출구의 압력 센서는 최적의 흐름을 위해 30-35 PSI를 유지해야 합니다. Microsoft의 액체 냉각 클러스터는 차등 압력 모니터링을 사용하여 공급과 반환 매니폴드 사이의 압력 강하가 5 PSI를 초과할 때 경고합니다. 입자 오염이 흐름 제한의 60%를 유발하여 분기별 필터 교체가 필요합니다.

열점은 불균일한 써멀 페이스트 도포 또는 콜드 플레이트 장착에서 발생합니다. 열화상은 GPU 다이 전체에서 15°C를 초과하는 온도 차이를 보여줍니다. 적절한 장착은 고정 나사에 35 in-lbs 토크가 필요하며, 균일한 압력을 보장하기 위해 교차 패턴으로 적용합니다. Supermicro의 제조 프로세스는 다이 전체에서 5°C 미만의 변동을 보이는 열 검증을 포함하며, 더 큰 차이에 대해서는 재장착이 필요합니다.

클러스터 구역 간 주변 온도 변화는 성능 불균형을 만듭니다. 35°C 주변 온도에 도달하는 핫 아일의 GPU는 25°C의 것보다 20% 더 자주 스로틀링합니다. 전산유체역학(CFD) 모델링은 배기 공기가 흡기 경로로 재진입하는 재순환 구역을 식별합니다. Facebook의 데이터 센터는 10,000개의 GPU 배포 전체에서 3°C 온도 균일성을 유지하는 격리 솔루션을 사용합니다.

팬 장애는 고밀도 GPU 배포 전체에 연쇄 작용합니다. 각 H100 GPU는 200 CFM 공기 흐름을 제공하는 시스템 팬에 의존합니다. 단일 팬 장애는 인접 GPU 온도를 5-7°C 증가시킵니다. 이중화 팬 구성(N+1)은 열 이벤트를 방지하지만 20% 추가 전력이 필요합니다. 팬 속도 변화를 사용한 예측 유지보수는 완전한 장애 30일 전에 마모되는 베어링을 식별하여 사전 교체를 가능하게 합니다.

네트워크 및 인터커넥트 문제 해결

InfiniBand 패브릭 이슈는 분산 학습 작업 전체에 곱해집니다. 단일 링크 오류는 MPI_Allreduce 연산이 무한정 중단되게 합니다. ibdiagnet 명령은 링크 속도, 오류 카운터, 라우팅 테이블을 확인하는 포괄적인 패브릭 검증을 수행합니다. 시간당 100개를 초과하는 심볼 오류는 교체가 필요한 케이블 저하를 나타냅니다. Meta의 인프라는 과도한 InfiniBand 오류를 보이는 노드를 학습 풀에서 자동으로 제거합니다.

RDMA(Remote Direct Memory Access) 성능 저하는 명백한 오류 없이 발생합니다. PCIe Access Control Services(ACS)는 GPU 간 피어 투 피어 전송을 위해 비활성화해야 합니다. setpci 명령은 PCIe 구성 공간을 수정하지만, BIOS 수정 없이는 재부팅 후 변경사항이 유지되지 않습니다. ib_write_lat를 사용한 지연 측정은 로컬 연결에 대해 1.8 마이크로초를 보여야 하며, 10% 변동은 혼잡 또는 잘못된 구성을 나타냅니다.

NVLink 토폴로지 잘못된 구성은 GPU 쌍 간 대역폭을 감소시킵니다. nvidia-smi topo -m 명령은 연결 토폴로지를 표시하며, NV12는 전체 NVLink 대역폭을, PHB는 PCIe 전용 연결을 나타냅니다. 최적의 구성은 노드 내에서 완전히 연결된 NVLink 메시를 만듭니다. Amazon의 p5.48xlarge 인스턴스는 적절히 구성될 때 900GB/s 양방향 NVLink 대역폭을 제공하지만, 잘못된 구성은 이를 64GB/s PCIe 속도로 감소시킵니다.

스토리지 트래픽으로 인한 네트워크 혼잡은 GPU 통신에 영향을 미칩니다. 혼합 Ethernet/InfiniBand 배포는 신중한 Quality of Service(QoS) 구성이 필요합니다. 사용 가능한 대역폭의 40%를 소비하는 스토리지 트래픽은 MPI 집합 연산 시간을 3배 증가시킵니다. 전용 스토리지 네트워크 또는 GPU 통신을 위해 60% 예약 대역폭을 유지하는 트래픽 쉐이핑이 학습 속도 저하를 방지합니다.

시간 동기화 오류는 분산 학습 실패를 유발합니다. 노드 간 1밀리초를 초과하는 클럭 스큐는 NCCL 타임아웃 오류를 유발합니다. Precision Time Protocol(PTP)은 서브 마이크로초 동기화를 유지하지만 하드웨어 타임스탬프 지원이 필요합니다. chrony sources 명령은 동기화 상태를 보여주며, 100 마이크로초 이상의 오프셋 값은 즉각적인 수정이 필요합니다. Google의 인프라는 원자 시계 참조를 사용하여 글로벌 GPU 클러스터 전체에서 100나노초 동기화를 유지합니다.

메모리 오류 감지 및 해결

HBM(High Bandwidth Memory) 오류는 사전 개입을 가능하게 하는 예측 가능한 패턴을 따릅니다. ECC에 의해 수정된 단일 비트 오류는 저하되는 메모리 셀을 나타냅니다. nvidia-smi -q -d ECC 명령은 휘발성 및 누적 오류 수를 모두 보고합니다. 휘발성 카운트는 재부팅 시 재설정되지만, 누적 카운트는 유지됩니다. 시간당 10개 이상의 단일 비트 오류를 보이는 GPU는 다음 유지보수 기간에 교체 일정을 잡아야 합니다.

사용 가능한 VRAM에도 불구한 메모리 할당 실패는 조각화를 나타냅니다. PyTorch의 torch.cuda.memory_stats()는 할당된 메모리 대 예약된 메모리를 보여줍니다. 캐싱 할당자 동작으로 인해 예약된 메모리가 할당된 것의 2배일 수 있습니다. PYTORCH_CUDA_ALLOC_CONF 환경 변수는 할당 전략을 구성하며, max_split_size_mb=512는 다양한 텐서 크기를 가진 모델의 조각화를 줄입니다.

페이지 퇴역 임계값이 GPU 수명을 결정합니다. NVIDIA GPU는 수정 불가능한 오류를 경험하는 메모리 페이지를 퇴역시켜 사용 가능한 메모리를 줄입니다. nvidia-smi -q -d PAGE_RETIREMENT 명령은 퇴역된 페이지 수와 추가 페이지의 가용성을 보여줍니다. H100 GPU는 교체가 필요하기 전까지 최대 512개의 페이지를 퇴역할 수 있습니다. 자동화된 모니터링은 400개의 페이지가 퇴역되면 교체를 트리거하여 중요한 학습 실행 중 완전한 장애를 방지해야 합니다.

메모리 대역폭 저하는 열 또는 전력 문제를 나타냅니다. bandwidthTest CUDA 샘플은 H100 GPU에서 3.35TB/s를 달성해야 합니다. 3.0TB/s 미만의 성능은 스로틀링을 나타냅니다. nvidia-smi -q -d PERFORMANCE 명령은 현재 메모리 클럭 속도를 보여줍니다. 감소된 속도는 종종 75°C를 초과하는 온도 또는 TDP 한계에 접근하는 전력 소비와 상관관계가 있습니다.

CUDA out of memory(OOM) 오류는 체계적인 디버깅이 필요합니다. CUDA_LAUNCH_BLOCKING=1 환경 변수는 동기 실행을 강제하여 정확한 오류 위치를 제공합니다. nsys profile을 사용한 메모리 프로파일링은 할당 패턴과 수명을 보여줍니다

[번역을 위해 내용 잘림]