NVMe-oF 구현: 10만 GPU 배포를 위한 스토리지 분리

2025년 12월 8일 업데이트

2025년 12월 업데이트: PCIe Gen5 드라이브가 14GB/s를 제공하고 400GbE 패브릭이 표준화되면서 NVMe-oF 도입이 가속화되고 있습니다. NVMe 2.0 사양이 향상된 멀티패스 및 Zoned Namespace 지원과 함께 확정되었습니다. NVIDIA BlueField-3 DPU가 400Gb/s 처리량으로 하드웨어 가속 NVMe-oF를 지원합니다. 컴퓨테이셔널 스토리지가 GPU 전송 전 데이터 전처리를 통해 특정 워크로드의 대역폭 요구 사항을 40-60% 줄이는 솔루션으로 부상하고 있습니다.

ByteDance의 추천 엔진은 12개 데이터 센터에 걸쳐 10만 GPU를 운영하면서도 NVMe over Fabric 기술을 통해 94%의 스토리지 활용률을 달성합니다. 이 기술은 85페타바이트의 플래시 스토리지를 180GB/s 처리량과 5마이크로초 지연 시간으로 모든 GPU가 접근할 수 있는 단일 논리적 네임스페이스로 풀링합니다.¹ 이 중국 기술 대기업은 이전에 각 GPU 서버에 고정 스토리지를 할당하여 다른 노드가 용량 부족에 시달리는 동안 40%의 유휴 용량이 발생했습니다. 현재 NVMe-oF 아키텍처는 GPU에 온디맨드로 스토리지 블록을 동적 할당하여 4,200만 달러의 중복 SSD 구매를 제거하고 최적화된 데이터 배치를 통해 모델 학습 속도를 2.3배 향상시켰습니다. 기존의 직접 연결 스토리지 아키텍처는 하이퍼스케일에서 한계에 부딪힙니다—10만 GPU를 관리할 때 스토리지를 컴퓨팅에서 분리하는 능력이 선형 확장과 기하급수적 복잡성 사이의 차이를 만듭니다.

NVMe over Fabric은 NVMe 프로토콜을 네트워크 패브릭 전체로 확장하여 로컬에 가까운 성능으로 원격 스토리지 접근을 가능하게 합니다. NVMe-oF를 구현한 조직들은 직접 연결 구성의 50-60%와 비교하여 85-95%의 스토리지 활용률을 보고하면서 10마이크로초 미만의 지연 시간을 유지합니다.² 이 기술은 RDMA over Converged Ethernet (RoCE), InfiniBand, Fibre Channel, TCP를 포함한 다양한 전송 프로토콜을 지원하며, 이더넷의 보편성으로 인해 RoCE 배포가 AI 인프라를 지배하고 있습니다. 분리된 스토리지 아키텍처는 향상된 활용률을 통해 자본 지출을 35-45% 절감하고, 컴퓨팅과 스토리지 리소스의 독립적인 확장을 가능하게 하며, 기존 아키텍처에서는 불가능한 운영 유연성을 제공합니다.

NVMe-oF 프로토콜 기초

NVMe over Fabric은 네트워크 전송을 위한 최소한의 오버헤드만 추가하면서 NVMe 프로토콜의 효율성을 유지하고 네트워크 전송 전체로 확장합니다. 이 프로토콜은 NVMe의 간소화된 명령 세트, 병렬 큐 아키텍처, 인터럽트 기반 모델을 유지합니다. 일반적인 NVMe-oF 트랜잭션은 로컬 NVMe 대비 2-8마이크로초의 지연 시간만 추가하여 적절히 구성된 네트워크에서 로컬 SSD 성능의 95%를 달성합니다.³

전송 옵션에 따라 성능 특성과 배포 복잡성이 결정됩니다:

NVMe over RoCE v2는 이더넷 인프라 재사용으로 인해 엔터프라이즈 배포에서 우세합니다. RoCE (RDMA over Converged Ethernet)는 커널 바이패스와 제로카피 전송을 제공하여 5마이크로초 미만의 지연 시간을 달성합니다. Priority Flow Control을 사용한 무손실 이더넷 구성이 패킷 드롭을 방지합니다. 적절한 펌웨어가 있는 표준 이더넷 스위치가 RoCE를 지원합니다. 배포 시 혼잡을 방지하기 위한 세심한 Quality of Service 튜닝이 필요합니다.

NVMe over InfiniBand는 2-3마이크로초로 가장 낮은 지연 시간을 제공하지만 특수 인프라가 필요합니다. InfiniBand의 크레딧 기반 흐름 제어는 PFC 복잡성 없이 무손실 전달을 보장합니다. 내장된 혼잡 관리가 부하 상태에서 성능 저하를 방지합니다. 높은 비용으로 성능 크리티컬 배포로 도입이 제한됩니다. GPU Direct Storage의 네이티브 지원으로 처리량을 극대화합니다.

NVMe over TCP는 표준 TCP/IP 네트워킹을 사용하여 최대 호환성을 제공합니다. 소프트웨어 전용 구현으로 특수 하드웨어가 필요 없습니다. 지연 시간은 네트워크 조건에 따라 15-50마이크로초 범위입니다. TCP의 혼잡 제어와 재전송이 오버헤드를 추가합니다. 성능보다 비용이 중요한 용량 중심 스토리지 티어에 적합합니다.

NVMe over Fibre Channel은 엔터프라이즈 환경에서 기존 SAN 인프라를 활용합니다. FC의 무손실 전달과 조닝이 스토리지 격리를 제공합니다. 지연 시간은 일반적으로 10-20마이크로초입니다. 이더넷이 400Gbps에 도달하는 동안 현재 32Gbps로 제한됩니다. 주로 레거시 FC 환경을 NVMe로 전환하는 데 사용됩니다.

10만 GPU 규모를 위한 아키텍처 설계

NVMe-oF를 10만 GPU로 확장하려면 여러 집계 레이어가 있는 계층적 아키텍처가 필요합니다:

Leaf-Spine 스토리지 패브릭: 스토리지 노드는 100-200GbE로 리프 스위치에 연결됩니다. 각 리프는 2:1 오버서브스크립션으로 32-48개의 스토리지 노드를 처리합니다. 스파인 스위치는 400-800GbE 링크를 사용하여 리프를 상호 연결합니다. 논블로킹 스파인 레이어가 리프 간 혼잡을 방지합니다. 일반적인 배포는 이중화와 대역폭을 위해 4-8개의 스파인을 사용합니다.

Pod 기반 확장: 관리 가능한 도메인을 위해 인프라를 1,000-2,000 GPU Pod로 구성합니다. 각 Pod에는 20-40개의 스토리지 노드가 있는 전용 스토리지 패브릭이 포함됩니다. Pod 간 연결은 고속 DCI (Data Center Interconnect) 링크를 사용합니다. Pod는 다른 Pod에 영향을 주지 않고 독립적으로 확장됩니다. 장애 도메인이 장애의 영향 범위를 제한합니다.

스토리지 노드 구성: 노드당 24-36개의 NVMe 드라이브가 있는 듀얼 소켓 서버. 이중 패브릭 연결을 위한 200GbE 듀얼 포트 NIC. 메타데이터 캐싱과 버퍼를 위한 512GB-1TB RAM. NVMe-oF 처리를 위한 하드웨어 오프로드 기능. 드라이브 풀을 관리하는 소프트웨어 정의 스토리지 레이어.

네임스페이스 아키텍처: 글로벌 네임스페이스는 모든 노드에 걸쳐 통합된 스토리지 뷰를 제공합니다. 서브 네임스페이스가 테넌트 또는 애플리케이션 데이터를 격리합니다. 중단 없이 동적으로 네임스페이스 생성/삭제. 씬 프로비저닝이 용량 낭비를 방지합니다. 네임스페이스 공유가 협업 워크플로우를 가능하게 합니다.

ByteDance 규모의 실제 배포: - GPU 8,000-10,000개씩 12개 데이터 센터 - 85PB 사용 가능 용량을 제공하는 2,500개 스토리지 노드 - 400GbE 스파인을 갖춘 3티어 Clos 네트워크 - 랙당 180GB/s 총 처리량 - 평균 5마이크로초 지연 시간 - 94% 스토리지 활용률 달성

구현 모범 사례

성공적인 NVMe-oF 배포는 확립된 패턴을 따릅니다:

네트워크 구성 우수성: 효율성을 위해 엔드투엔드 점보 프레임(9000 MTU) 활성화. 무손실 전달을 위해 모든 스위치 포트에 Priority Flow Control (PFC) 구성. 대역폭 할당을 위한 Enhanced Transmission Selection (ETS) 구현. 통합 구성을 위한 Data Center Bridging (DCB) 배포. 혼잡 감지를 위해 PFC 일시 정지 프레임 통계 모니터링. VLAN 또는 오버레이 네트워크를 사용하여 스토리지 트래픽 분리.

Quality of Service 최적화: 스토리지 트래픽을 최우선 순위 클래스에 할당. 스토리지 플로우에 최소 40% 대역폭 예약. 트래픽 클래스에 대한 가중치 공정 큐잉 구성. 단일 플로우가 지배하는 것을 방지하기 위한 속도 제한 구현. 드롭 방지를 위한 버퍼 활용도 모니터링. 워크로드 패턴에 따른 QoS 파라미터 조정.

이중화 및 고가용성: 별도의 스위치에 듀얼 홈 스토리지 노드 배포. 액티브-액티브 경로로 멀티패스 I/O 구현. 50ms 이내 자동 경로 페일오버 구성. 데이터 분산을 위한 일관된 해싱 사용. 내구성을 위한 3중 복제 또는 이레이저 코딩 유지. 컴포넌트 수준에서 N+2 이중화 설계.

보안 구현: 전송 중 암호화를 위한 IPsec 또는 TLS 활성화. 격리를 위한 존 기반 접근 제어 구현. NVMe-oF 연결에 인증 키 사용. 측면 이동 제한을 위한 마이크로세그먼테이션 배포. 컴플라이언스를 위한 모든 스토리지 접근 감사. 취약점에 대한 정기적인 보안 스캐닝.

Introl은 글로벌 커버리지 지역 전역에서 하이퍼스케일 AI 인프라를 위한 NVMe-oF 아키텍처를 설계하고 배포하며, 최대 10만 GPU를 지원하는 분리된 스토리지 시스템 관리에 입증된 전문성을 보유하고 있습니다.⁴ 우리 팀은 1PB에서 100PB 규모에 이르는 50개 이상의 NVMe-oF 배포를 구현했습니다.

성능 최적화 기법

최대 NVMe-oF 성능을 달성하려면 체계적인 최적화가 필요합니다:

CPU 및 인터럽트 튜닝: 스케줄러 오버헤드를 피하기 위해 NVMe-oF 인터럽트를 전용 CPU 코어에 고정. 일관된 성능을 위해 CPU 주파수 스케일링 비활성화. 로컬 메모리 접근을 위한 NUMA 친화성 구성. CPU 사용량 감소를 위한 인터럽트 코얼레싱 증가. 동적 최적화를 위한 적응형 인터럽트 모더레이션 활성화. 병목 현상 식별을 위한 CPU 활용도 모니터링.

메모리 및 버퍼 관리: TLB 미스 감소를 위해 NVMe-oF 버퍼에 휴지 페이지 할당. 고처리량 워크로드를 위한 커널 메모리 설정 튜닝. 네트워크 스택에 적절한 소켓 버퍼 크기 구성. 할당 오버헤드 감소를 위한 메모리 풀링 구현. 메모리 대역폭 활용도 모니터링. 신중한 할당을 통한 메모리 단편화 방지.

스토리지 스택 최적화: 효율성을 위해 I/O 크기를 SSD 페이지 경계에 맞춤. 연결당 큐 깊이를 256-1024 사이로 구성. 지연 시간 감소를 위한 컨트롤러 메모리 버퍼(CMB) 활성화. NVMe 특성에 최적화된 I/O 스케줄링 구현. 저널링과 같은 불필요한 기능 비활성화. SSD 웨어 레벨링 및 가비지 컬렉션 모니터링.

워크로드 배치 인텔리전스: 핫 데이터를 컴퓨팅 근처에 유지하는 데이터 로컬리티 알고리즘 구현. 예측 가능한 데이터 분산을 위한 일관된 해싱 사용. 스토리지 노드 전체의 용량과 성능 균형. 접근 패턴에 따른 데이터 마이그레이션. 자주 접근하는 데이터를 더 빠른 티어에 캐시. ML 모델을 사용한 미래 접근 패턴 예측.

프로덕션 배포의 성능 메트릭: - 4KB 랜덤 읽기: 스토리지 노드당 1,500만 IOPS - 128KB 순차 읽기: 스토리지 노드당 180GB/s - 평균 지연 시간: RoCE에서 5-7마이크로초 - 테일 지연 시간(p99.9): 25마이크로초 - CPU 오버헤드: 포화 워크로드에서 8-12%

일반적인 문제 해결

NVMe-oF 배포는 특정 솔루션이 필요한 특징적인 문제에 직면합니다:

높은 지연 시간 스파이크: 증상: 5μs에서 500μs로 주기적인 지연 시간 증가 원인: PFC 스톰, 버퍼 소진, TCP 재전송 해결책: PFC 임계값 튜닝, 스위치 버퍼 증가, 스토리지 트래픽 격리 모니터링: 일시 정지 프레임 지속 시간 및 빈도 추적

처리량 저하: 증상: 성능이 180GB/s에서 50GB/s로 감소 원인: 네트워크 혼잡, SSD 열 스로틀링, CPU 병목 현상 해결책: 트래픽 셰이핑 구현, 냉각 개선, 스토리지 노드 스케일 아웃 모니터링: 링크별 활용도 및 SSD 온도 측정

연결 실패: 증상: NVMe-oF 연결이 무작위로 끊김 원인: 인증 문제, 네트워크 플랩, 드라이버 버그 해결책: 자격 증명 확인, 케이블/광학 점검, 드라이버/펌웨어 업데이트 모니터링: 연결 상태 변경 및 오류 카운터 로깅

용량 불균형: 증상: 일부 노드는 95% 용량인 반면 다른 노드는 40% 원인: 잘못된 데이터 배치, 워크로드 편중, 실패한 리밸런싱 해결책: 더 나은 해싱 구현, 적극적인 데이터 마이그레이션, 자동화 수정 모니터링: 노드별 용량 및 IOPS 분포 추적

실제 배포 사례 연구

Meta - 학습 인프라 현대화: - 과제: 60% 스토리지 활용률의 50,000 GPU - 솔루션: 40PB 분리 스토리지를 갖춘 NVMe-oF 배포 - 아키텍처: 200GbE 이더넷 패브릭 위 RoCE v2 - 결과: 90% 활용률, 2.1배 빠른 모델 학습 - 투자: 스토리지 조달에서 4,500만 달러 절감 - 핵심 혁신: 접근 패턴을 사용한 예측적 데이터 배치

금융 서비스 기업 - 틱 데이터 분석: - 규모: 하루 10TB 시장 데이터를 처리하는 5,000 GPU - 스토리지: 밀리초 미만 접근의 5PB NVMe-oF 풀 - 네트워크: 결정론적 지연 시간을 위한 InfiniBand 패브릭 - 성능: 평균 3마이크로초 지연 시간 달성 - 이점: 20년 히스토리컬 데이터의 실시간 분석 - 아키텍처: NVMe와 Optane PMem을 갖춘 계층형 스토리지

자율주행 자동차 회사 - 시뮬레이션 플랫폼: - 데이터셋: 100PB의 주행 영상 및 센서 데이터 - 인프라: 중앙 집중식 스토리지를 갖춘 8,000 GPU - 기술: 비용 최적화를 위한 NVMe-oF over TCP - 처리량: 500GB/s 총

[번역을 위해 콘텐츠 잘림]