강화학습 인프라: RLHF와 로보틱스를 위한 GPU 클러스터
2025년 12월 11일 업데이트
2025년 12월 업데이트: RLHF 학습은 컴퓨팅 자원의 80%를 샘플 생성에 사용하므로 처리량 최적화가 매우 중요합니다. OpenRLHF는 Ray 기반으로 GPU 전반에 걸쳐 모델을 분리하여 700억 개 이상의 파라미터를 가진 RLHF를 가능하게 합니다. NVIDIA의 세 가지 컴퓨터 아키텍처는 학습용 DGX, 시뮬레이션용 Omniverse, 로봇 온디바이스 추론용 Jetson Thor로 구성됩니다. vLLM 가속화는 샘플 생성 처리량을 극적으로 향상시킵니다.
RLHF 학습은 컴퓨팅 시간의 80%를 샘플 생성에 사용하므로, 대규모 언어 모델을 인간의 선호도에 맞추려는 조직에게 처리량 최적화는 핵심적인 인프라 과제입니다.[^1] OpenRLHF는 Actor, Reward, Reference, Critic 모델을 서로 다른 GPU에 분리하여 700억 개 이상의 파라미터를 가진 RLHF 학습을 가능하게 한 최초의 고성능 오픈소스 프레임워크로 부상했습니다.[^2] 한편 NVIDIA의 물리적 AI를 위한 세 가지 컴퓨터 아키텍처는 학습용 DGX 슈퍼컴퓨터, 시뮬레이션용 Omniverse 서버, 로봇 온디바이스 추론용 Jetson AGX Thor를 연결합니다.[^3] 강화학습 워크로드는 표준 지도학습과는 다른 인프라 패턴을 요구하며, RL 역량을 구축하는 조직은 이러한 차이점을 고려한 아키텍처 결정이 필요합니다.
인프라의 차이는 메모리 요구사항에서 시작됩니다. 기존 RLHF 프레임워크는 700억 개 이상의 파라미터를 가진 모델의 막대한 메모리 수요에 어려움을 겪어 정렬 기술의 잠재력을 충분히 발휘하지 못합니다.[^4] GPU 전반에 걸친 과도한 모델 파티셔닝은 개별 장치에서 메모리 단편화를 초래하여 효과적인 배치 크기를 줄이고 전체 학습 속도를 저하시킵니다. 로보틱스 시뮬레이션은 또 다른 차원을 추가합니다: 수백 또는 수천 개의 로봇 인스턴스를 병렬로 학습시키려면 신경망 학습과 함께 GPU 가속 물리 엔진을 실행해야 합니다.[^5]
RLHF 인프라 패턴
인간 피드백 기반 강화학습은 서로 다른 인프라 요구사항을 부과하는 여러 개별 단계를 조율하는 것을 포함합니다. 보상 모델링은 인간의 선호도를 예측하는 모델을 학습시킵니다. 그런 다음 RL 단계에서는 보상 모델을 사용하여 정책 최적화를 유도합니다. 두 단계 모두 대규모 모델 추론과 학습을 동시에 수행하므로, 표준 지도학습에서는 없는 자원 경합 패턴이 발생합니다.
다중 모델 오케스트레이션
RLHF 학습은 네 개의 모델을 동시에 실행해야 합니다: Actor(학습 중인 정책 모델), Reward 모델(응답 점수 매기기), Reference 모델(분포 드리프트 방지), Critic 모델(가치 함수 추정).[^6] 각 모델은 수백억 개의 파라미터에 달할 수 있습니다. 네 개의 700억 파라미터 모델에 걸친 메모리 할당과 컴퓨팅 스케줄링 관리는 일반적인 학습 인프라의 복잡성을 초과합니다.
OpenRLHF는 과도한 파티셔닝 없이 GPU 전반에 걸쳐 모델을 지능적으로 할당하는 분산 태스크 스케줄러인 Ray를 통해 다중 모델 문제를 해결합니다.[^7] 이 프레임워크는 Hybrid Engine 스케줄링을 활용하여 모든 모델과 vLLM 추론 엔진이 GPU 자원을 공유할 수 있게 합니다. 이 접근 방식은 워크로드 요구가 학습과 추론 단계 사이에서 변화함에 따라 자원을 동적으로 재조정하여 유휴 시간을 최소화하고 활용률을 극대화합니다.
샘플 생성 병목 현상
컴퓨팅 시간의 80%가 샘플 생성에 소요되는 것은 RLHF의 근본적인 특성을 반영합니다: 정책 모델은 보상 점수를 매기기 전에 완전한 응답을 생성해야 합니다.[^8] 표준 학습은 정적 데이터를 순방향 및 역방향 패스를 통해 배치 처리합니다. RLHF는 각 단계에서 새로운 샘플을 생성하여 실제 경과 시간을 지배하는 추론 병목 현상을 만듭니다.
vLLM 가속화는 최적화된 메모리 관리와 여러 GPU에 걸친 병렬 처리를 통해 샘플 생성 처리량을 극적으로 향상시킵니다.[^9] OpenRLHF의 Auto Tensor Parallelism(AutoTP)은 사용 가능한 GPU 전반에 추론을 자동으로 분산하여 학습 단계에 새로운 샘플을 지속적으로 공급하는 고처리량 생성을 달성합니다.
시스템 수준 최적화 (2025)
연구팀들은 2024년과 2025년 동안 RLHF 처리량을 개선하기 위한 여러 접근 방식을 개발했습니다. RLHFuse, AReal, Verl은 세밀한 병렬 처리를 통해 처리량을 개선하고, 통신 오버헤드를 줄이기 위해 모델을 동일 위치에 배치하며, 워크로드 수요에 맞게 GPU 자원을 동적으로 확장합니다.[^10]
Verl, RLHFuse, ReaL, PUZZLE은 서로 다른 단계의 LLM을 동일한 자원 풀에 배치하여, 개별 모델이 자원을 유휴 상태로 두는 경우에도 GPU 활용률을 향상시킵니다.[^11] StreamRL은 학습과 생성 단계를 분리하여 전용 추론 클러스터의 높은 메모리 대역폭 이점을 활용하는 파이프라인에서 비동기적으로 실행합니다.
OPPO(Pipeline Overlap for PPO)는 이전에 순차적으로 실행되던 계산 단계를 중첩시켜 추가적인 속도 향상을 달성합니다.[^12] 이 기술은 이전 배치가 완료되기 전에 후속 배치를 시작함으로써 유휴 시간을 줄이고, 약간 증가한 메모리 사용량과 처리량 개선을 교환합니다.
물리적 AI와 로보틱스 인프라
로보틱스 애플리케이션은 신경망 학습과 함께 시뮬레이션 요구사항을 도입합니다. 로봇은 실제 세계에 배포되기 전에 시뮬레이션 환경에서 학습해야 하며, 이는 강화학습을 실용적으로 만드는 속도로 실행되는 물리적으로 정확한 가상 세계가 필요합니다.
NVIDIA의 세 가지 컴퓨터 아키텍처
NVIDIA는 학습, 시뮬레이션, 배포를 아우르는 물리적 AI 개발을 위한 포괄적인 스택을 설계했습니다.[^13] DGX AI 슈퍼컴퓨터는 대규모 RL에 필요한 컴퓨팅 밀도로 모델 학습을 처리합니다. RTX PRO 서버에서 실행되는 Omniverse와 Cosmos는 로봇이 물리 기반 디지털 트윈에서 학습하는 시뮬레이션 환경을 제공합니다. Jetson AGX Thor는 자율 운영을 위한 실시간 성능으로 로봇 온디바이스 추론을 처리합니다.
이 아키텍처는 물리적 AI의 고유한 요구를 반영합니다. 로봇은 센서 데이터를 처리하고, 환경 상태를 추론하며, 행동을 계획하고, 밀리초 단위로 동작을 실행해야 합니다.[^14] 학습 인프라는 제한된 컴퓨팅 예산을 가진 엣지 하드웨어에 배포될 때 이러한 지연 시간 제약을 충족하는 모델을 생산해야 합니다.
GPU 가속 시뮬레이션
NVIDIA Isaac Lab은 Isaac Sim을 기반으로 구축된 로봇 학습을 위한 오픈소스 프레임워크로, 강화학습, 시연 학습, 동작 계획 워크플로우를 지원합니다.[^15] 이 프레임워크는 수백 또는 수천 개의 로봇 인스턴스를 병렬로 학습시켜 실제 세계 학습보다 더 빠르게 정책을 반복할 수 있게 합니다.
Google DeepMind와 Disney Research가 공동 개발한 GPU 가속 물리 엔진 Newton은 고속의 물리적으로 정확하고 미분 가능한 시뮬레이션을 제공합니다.[^16] 미분 가능한 물리학은 시뮬레이션을 통한 그래디언트 기반 최적화를 가능하게 하여 블랙박스 강화학습 접근 방식에 비해 정책 학습을 가속화합니다.
시뮬레이션 우선 접근 방식은 물리적 AI 개발에 필수적입니다. 개발자는 배포 전에 디지털 트윈에서 로봇 행동을 검증하여 물리적 하드웨어를 손상시키거나 인간에게 해를 끼칠 수 있는 실패를 포착합니다.[^17] 이 방법론은 실제 로봇으로의 정책 전이에 충분한 정확도를 유지하면서 실시간보다 빠른 속도로 물리학을 실행할 수 있는 시뮬레이션 인프라를 필요로 합니다.
로보틱스를 위한 다중 GPU 오케스트레이션
NVIDIA OSMO는 다중 GPU 및 다중 노드 시스템에 걸쳐 여러 단계와 컨테이너에 걸친 복잡한 로보틱스 워크로드를 위한 클라우드 네이티브 오케스트레이션을 제공합니다.[^18] 로보틱스 개발 파이프라인은 데이터 수집, 모델 학습, 시뮬레이션 테스트, 배포 패키징을 포함합니다. 이기종 GPU 자원에 걸쳐 이러한 단계를 조정하려면 표준 Kubernetes 기능을 넘어서는 오케스트레이션이 필요합니다.
Agility Robotics, Boston Dynamics, Figure AI, Skild AI를 포함한 선도적인 로보틱스 기업들이 NVIDIA Isaac과 Omniverse 기술을 채택하고 있습니다.[^19] Stanford, ETH Zurich, National University of Singapore의 연구 기관들도 로보틱스 연구 발전을 위해 동일한 가속 컴퓨팅 인프라를 활용하고 있습니다.
인프라 요구사항 비교
RLHF와 로보틱스 RL은 일부 인프라 패턴을 공유하지만 다른 부분에서는 크게 다릅니다.
메모리 요구사항
LLM 정렬을 위한 RLHF는 여러 대규모 모델을 동시에 호스팅해야 합니다. 700억 파라미터 Actor, 700억 파라미터 Reference, 별도의 Reward와 Critic 모델은 옵티마이저 상태와 활성화를 고려하기 전에 모델 가중치만으로도 8-16개의 H100 GPU가 필요할 수 있습니다.[^20] 로보틱스 정책은 일반적으로 더 작은 모델을 포함하지만 동시 시뮬레이션 상태가 필요합니다.
로보틱스 시뮬레이션 메모리는 환경 복잡성과 병렬 인스턴스 수에 따라 확장됩니다. 물리 상태, 센서 데이터, 신경망 추론을 가진 1,000개의 시뮬레이션 로봇을 실행하면 상대적으로 작은 정책 네트워크에서도 상당한 GPU 메모리를 소비합니다.
컴퓨팅 패턴
RLHF 워크로드는 추론 중심의 샘플 생성과 학습 중심의 정책 업데이트를 번갈아 수행합니다. 인프라는 동적 스케줄링이 가능한 공유 자원이나 각 단계를 위한 전용 풀을 통해 두 패턴을 모두 효율적으로 처리해야 합니다.
로보틱스 학습은 시뮬레이션과 정책 업데이트를 동시에 실행합니다. 물리 연산은 신경망 순방향 및 역방향 패스와 중첩됩니다. GPU 활용 패턴은 언어 모델 학습과 다르며, RLHF 샘플 생성의 버스트 추론보다는 더 일관된 부하를 보입니다.
네트워킹 요구사항
다중 노드 RLHF 학습은 그래디언트 동기화와 모델 상태 공유를 위해 고대역폭 인터커넥트가 필요합니다. 네 개의 모델 아키텍처는 단일 모델 학습에 비해 통신 오버헤드를 배가시킵니다.
로보틱스 분산 학습은 여러 정책이 동일한 시뮬레이션에서 상호작용할 때 공유 환경 상태를 위한 추가 통신이 필요할 수 있습니다. 중앙 집중식 Critic이나 공유 월드 모델은 병렬 시뮬레이션 인스턴스에서 관측값을 수집해야 합니다.
대규모 배포
RL 인프라를 대규모로 배포하는 조직은 클러스터 아키텍처, 자원 할당, 운영 관행에 대한 결정을 내려야 합니다.
클러스터 설계 고려사항
RL 워크로드는 스케줄링을 단순화하고 혼합 하드웨어로 인한 성능 변동을 피하는 동종 GPU 클러스터에서 이점을 얻습니다. 메모리 최적화 구성은 RLHF의 다중 모델 요구사항에 유용하고, 컴퓨팅 최적화 구성은 로보틱스 시뮬레이션에 적합합니다.
네트워킹 투자는 RL에서 일반적인 추론 워크로드보다 더 중요합니다. 노드 내 NVLink 인터커넥트는 RLHF에 필요한 모델 병렬 통신을 가속화합니다. InfiniBand 또는 고속 이더넷은 모델 크기가 단일 노드 용량을 초과할 때 다중 노드 확장을 가능하게 합니다.
전문 인프라 배포
강화학습 인프라 복잡성은 일반적인 AI 배포 요구사항을 초과합니다. 다중 모델 조정, 시뮬레이션 통합, 특수 네트워킹은 효율적으로 해결하기 위해 경험 있는 팀이 필요한 통합 과제를 만듭니다.
Introl의 550명의 현장 엔지니어 네트워크는 강화학습 시스템을 포함한 고급 AI 워크로드를 지원하는 GPU 인프라 배포를 전문으로 합니다.[^21] 이 회사는 9,594%의 3년 성장률로 2025년 Inc. 5000에서 14위를 기록했으며, 이는 전문 인프라 서비스에 대한 기업 수요를 반영합니다.[^22] RL 역량을 구축하는 조직은 운영 인프라까지의 시간을 단축하는 배포 전문 지식에서 이점을 얻습니다.
257개 글로벌 위치에서 GPU 배포를 관리하면 조직이 연구자와 애플리케이션이 있는 곳에 RL 인프라를 배치할 수 있습니다.[^23] Introl은 40,000마일 이상의 광섬유 네트워크 인프라와 함께 100,000개의 GPU에 달하는 배포를 처리하여 가장 큰 RL 이니셔티브에 맞는 규모를 제공합니다.[^24]
물리적 인프라 품질은 RL 학습 안정성에 직접적인 영향을 미칩니다. 열 쓰로틀링, 전력 변동, 네트워크 불일치는 디버깅을 복잡하게 만드는 학습 불안정성으로 나타납니다. 전문적인 배포는 인프라 기반이 안정적인 RL 실험을 지원하도록 보장합니다.
RL 인프라의 궤적
[번역을 위해 내용 생략]
