추론 단가 경제학: 토큰 100만 개당 실제 비용
2025년 12월 8일 업데이트
2025년 12월 업데이트: LLM 추론 비용이 연간 10배씩 하락하고 있습니다—PC 컴퓨팅이나 닷컴 시대 대역폭보다 더 빠른 속도입니다. GPT-4 수준의 성능이 2022년 말 토큰 100만 개당 $20에서 현재 $0.40으로 떨어졌습니다. 클라우드 H100 가격은 최고점 대비 64-75% 하락 후 시간당 $2.85-$3.50에서 안정화되었습니다. DeepSeek은 기존 업체 대비 90% 저렴한 가격으로 시장을 뒤흔들었습니다. 자체 호스팅의 손익분기점은 7B 모델 기준 GPU 활용률 50% 이상, 13B 모델 기준 10% 이상이 필요합니다. 양자화로 운영 비용 60-70% 절감이 가능합니다. 추측적 디코딩으로 지연 시간을 2-3배 단축할 수 있습니다.
LLM 추론 시장은 기존 기술 경제학의 상식을 뒤엎고 있습니다. 마이크로프로세서 혁명 시기의 PC 컴퓨팅이나 닷컴 붐 시기의 대역폭보다 더 빠르게 가격이 하락하고 있으며—동등한 성능의 비용이 매년 10배씩 낮아지고 있습니다.¹ 2022년 말 토큰 100만 개당 $20이던 기능이 이제 $0.40에 불과합니다.² 그러나 조직들은 여전히 실제 추론 비용을 파악하는 데 어려움을 겪고 있습니다. 토큰 단위 가격 책정이 인프라 현실을 가리고, GPU 활용률이 실제 단가 경제성을 결정하며, 최적화 기법에 따라 비용 효율성이 수십 배 차이 나기 때문입니다. 추론 경제학을 마스터하는 것이 AI 배포가 가치를 창출하느냐, 자본을 낭비하느냐를 결정합니다.
2025년 12월 추론 가격 현황
API 가격은 모델 성능, 공급업체, 최적화 수준에 따라 세 자릿수 범위에 걸쳐 분포합니다. 현재 시장 상황을 이해하면 경제적 의사결정에 도움이 됩니다.
저가형 모델은 이제 토큰 100만 개당 1센트 미만입니다. Google의 Gemini Flash-Lite가 입력 토큰 100만 개당 $0.075, 출력 토큰 100만 개당 $0.30으로 선두를 달리고 있습니다.³ Together.ai나 Hyperbolic 같은 공급업체를 통한 오픈소스 모델은 더욱 저렴합니다—Llama 3.2 3B는 토큰 100만 개당 $0.06에 운영되며, 3년 전 비용의 1/1000로 MMLU 점수 42를 달성합니다.⁴
중급 프로덕션 모델은 성능과 비용 사이에서 균형을 잡습니다. Claude Sonnet 4는 입력 토큰 100만 개당 $3, 출력 토큰 100만 개당 $15입니다.⁵ DeepSeek의 R1 모델은 입력 $0.55, 출력 $2.19로 시장을 뒤흔들었습니다—비슷한 추론 능력을 가진 서구 경쟁사 대비 90% 저렴합니다.⁶ 중국 공급업체들이 지속적으로 서구 기존 업체들보다 낮은 가격을 제시하며, 모든 구매자에게 이익이 되는 가격 압박을 가하고 있습니다.
최첨단 모델은 프리미엄 가격이 책정됩니다. Claude Opus 4는 입력 토큰 100만 개당 $15, 출력 토큰 100만 개당 $75입니다.⁷ GPT-4 및 유사한 최첨단 모델도 비슷한 가격대이며, 이는 비용 최적화와 관계없이 소형 모델이 복제할 수 없는 성능으로 정당화됩니다.
공급업체 간 가격 차이는 복잡성을 더합니다. 동일한 모델이라도 가장 저렴한 공급업체와 가장 비싼 공급업체 사이에 10배 차이가 납니다.⁸ 한 모델이 최저가 공급업체에서는 토큰 100만 개당 $0.90, 중간 가격대에서는 $3.50, 최고가 공급업체에서는 $9.50일 수 있습니다. 기술적 최적화 이전에 공급업체를 비교하는 것만으로도 경제성에 상당한 영향을 미칩니다.
출력 토큰 가격 비대칭은 실제 비용을 반영합니다. OpenAI, Anthropic, Google은 출력 토큰을 입력 토큰보다 3-5배 높게 책정합니다. 입력 처리는 효율적으로 병렬화되는 반면, 출력 생성은 순차적 처리가 필요하기 때문입니다.⁹ 긴 출력을 생성하는 애플리케이션은 긴 입력을 처리하고 짧은 응답을 하는 애플리케이션과 다른 경제성에 직면합니다.
실제 GPU 인프라 비용 이해하기
API 가격 뒤에는 자체적인 비용 구조를 가진 GPU 인프라가 있습니다. 이러한 경제성을 이해하면 직접 구축 vs 구매 결정에 도움이 됩니다.
하드웨어 구매 비용은 처음에 높고 계속 누적됩니다. NVIDIA H100 GPU는 카드당 $25,000-$40,000이며, 인프라를 포함한 완전한 8-GPU 서버 시스템은 $200,000-$400,000에 달합니다.¹⁰ NVIDIA의 H100 제조 비용은 약 $3,320입니다—생산 비용과 판매 가격 사이의 격차는 최근에야 완화되기 시작한 수요 주도형 마진을 반영합니다.
클라우드 GPU 임대료는 급격한 하락 후 안정화되었습니다. H100 SXM 인스턴스는 시간당 $1.49(Hyperbolic)에서 $6.98(Azure)까지 범위이며, 대부분의 공급업체는 최고점 대비 64-75% 하락 후 시간당 $2.85-$3.50 수준에 모여 있습니다.¹¹ 예약 용량은 요금을 더 낮춥니다—Lambda Labs는 시간당 $1.85를, Hyperstack은 약정 시 시간당 $1.90부터 제공합니다.
전력 및 냉각 비용은 하드웨어 비용에 추가됩니다. 각 H100은 부하 시 최대 700W를 소비합니다. 다중 GPU 클러스터는 시설 업그레이드를 위해 $10,000-$50,000의 전용 전력 분배 장치가 필요할 수 있습니다.¹² 액체 냉각 인프라나 향상된 HVAC 시스템은 규모에 따라 $15,000-$100,000이 추가됩니다. 이러한 비용은 GPU 시간에 걸쳐 상각되지만 총 소유 경제성에 상당한 영향을 미칩니다.
운영 오버헤드는 하드웨어 임대료와 실제 비용 사이의 격차를 메웁니다. 냉각, 시설, 유지보수를 고려하면 원시 GPU 임대료에 시간당 약 $2-7이 추가되어, 적절히 상각된 8×H100의 실제 운영 비용은 시간당 $8-$15가 됩니다.¹³ 클라우드 임대와 API 가격을 비교하는 조직은 유효한 비교를 위해 이러한 숨겨진 비용을 포함해야 합니다.
실행 가능성을 결정하는 활용률 방정식
GPU 활용률이 자체 호스팅 추론의 경제성을 결정합니다. 10% 부하로 운영되는 GPU 비용을 지불하면 토큰 1,000개당 $0.013이 $0.13으로 변환됩니다—프리미엄 API보다 더 비쌉니다.¹⁴
손익분기점 분석은 모델 크기와 목표 활용률에 따라 달라집니다. 7B 모델 호스팅은 GPT-3.5 Turbo보다 저렴해지려면 약 50%의 활용률이 필요합니다.¹⁵ 13B 모델은 단 10%의 활용률로 GPT-4-turbo와 비용 동등성을 달성합니다. 더 큰 모델의 성능 프리미엄이 더 높은 인프라 투자를 정당화하기 때문입니다. 핵심 통찰: 더 큰 모델은 더 비싼 API 대안을 대체하기 때문에 더 낮은 활용률에서 손익분기점에 도달합니다.
트래픽 패턴이 달성 가능한 활용률을 결정합니다. 일관되고 예측 가능한 워크로드를 가진 조직은 산발적인 수요를 가진 조직보다 높은 활용률을 달성합니다. 일일 트래픽 주기를 가진 소비자 대상 애플리케이션은 워크로드를 이동하거나 인프라를 동적으로 확장하지 않는 한 비수요 시간대에 GPU 용량을 낭비합니다.
요청 볼륨 임계값이 최소 실행 가능 규모를 설정합니다. 분석에 따르면 자체 호스팅 인프라가 관리형 솔루션보다 저렴해지려면 하루 8,000건 이상의 대화가 필요합니다.¹⁶ 이 임계값 이하에서는 자체 호스팅의 운영 복잡성과 고정 비용이 잠재적 절감액을 초과합니다.
배치 처리 기회는 활용률 경제성을 개선합니다. 오프라인 분석, 배치 임베딩, 데이터셋 처리 등 지연 가능한 워크로드를 가진 조직은 수요를 고활용률 시간대에 집중하여 변동적인 실시간 트래픽에서도 효과적인 활용률을 개선할 수 있습니다. 실시간 및 배치 워크로드를 공유 인프라에서 혼합하면 자본 효율성이 최적화됩니다.
프로덕션 배포를 위한 비용 구조 분석
프로덕션 추론 비용은 개별적으로 최적화할 수 있는 구성 요소로 분해됩니다.
모델 로딩 및 메모리는 트래픽과 관계없이 고정 리소스를 소비합니다. FP16의 70B 파라미터 모델은 약 140GB의 GPU 메모리가 필요합니다—단일 GPU 용량을 초과하여 다중 GPU 구성이 필수입니다.¹⁷ 메모리 비용은 사용량이 아닌 모델 크기에 비례하여 트래픽 볼륨과 관계없이 최소 인프라 임계값을 생성합니다.
토큰당 연산이 추론 중 한계 비용을 주도합니다. 순방향 패스 연산은 모델 아키텍처에 따라 확장됩니다—특히 긴 컨텍스트에서 어텐션 메커니즘이 그렇습니다. 배칭으로 연산 비용이 감소하는데, 더 큰 배치 크기에서 행렬 연산이 더 효율적이 되어 더 많은 토큰에 걸쳐 오버헤드가 분산되기 때문입니다.
KV 캐시 메모리는 컨텍스트 길이와 동시 요청 수에 따라 증가합니다. 각 활성 요청은 컨텍스트 길이에 비례하는 메모리를 소비하는 키-값 캐시를 유지합니다. 긴 컨텍스트 애플리케이션은 동시 요청을 제한하는 메모리 압박에 직면하여 처리량이 저하되고 토큰당 비용이 증가합니다. KV 캐시 관리는 주요 최적화 대상입니다.
네트워크 및 스토리지 I/O는 다중 GPU 및 분산 배포에 영향을 미칩니다. 텐서 병렬화를 위한 GPU 간 통신, 스토리지에서 모델 가중치 로딩, 결과 전송 모두 리소스를 소비합니다. 고대역폭 네트워킹(NVLink, InfiniBand)은 I/O 병목을 줄이지만 인프라 투자를 증가시킵니다.
운영 오버헤드에는 모니터링, 로깅, 보안 및 관리가 포함됩니다. 프로덕션 시스템은 관측성 인프라, 대기 인력, 지속적인 최적화 노력이 필요합니다. 조직은 자체 호스팅과 API 대안을 비교할 때 이러한 "소프트" 비용을 종종 과소평가합니다.
경제성을 변화시키는 최적화 기법
기술적 최적화는 추론 비용을 60-70% 이상 줄여 한계적인 경제성을 지속 가능한 이점으로 변환할 수 있습니다.¹⁸
양자화는 모델 가중치의 정밀도를 32비트 부동소수점에서 8비트 또는 4비트 표현으로 줄입니다. 이 기법은 허용 가능한 정확도를 유지하면서 모델 크기를 4-8배 줄입니다.¹⁹ 8비트 양자화는 약 1%의 정확도 손실로 메모리 사용량을 50% 줄입니다. 4비트 양자화는 많은 애플리케이션에서 경쟁력 있는 성능을 유지하면서 75% 크기 감소를 달성합니다. Blackwell GPU의 FP4 지원은 양자화만으로 4배의 성능 향상을 가능하게 합니다.
연속 배칭은 고정 배치 완료를 기다리는 대신 요청을 동적으로 그룹화합니다. 전통적인 배칭은 새 요청을 처리하기 전에 가장 긴 시퀀스가 완료될 때까지 기다립니다. 연속 배칭은 완료된 시퀀스를 즉시 제거하고 다른 요청이 진행 중인 동안 새 요청을 시작합니다.²⁰ 이 기법은 가변 시퀀스 길이를 가진 워크로드에서 GPU 활용률을 극적으로 개선합니다—대부분의 프로덕션 배포가 보이는 정확히 그 패턴입니다.
추측적 디코딩은 작은 "초안" 모델을 사용하여 더 큰 "검증" 모델이 병렬로 확인할 여러 토큰을 예측합니다.²¹ 예측이 정확하면 표준 단일 토큰 대신 순방향 패스당 여러 토큰이 생성됩니다. 이 기법은 작은 모델이 더 큰 모델의 출력을 정확하게 예측할 수 있는 애플리케이션에서 지연 시간을 2-3배 줄입니다—특히 제한된 도메인이나 구조화된 출력에 효과적입니다.
KV 캐시 최적화는 PagedAttention을 포함하여 캐시 메모리를 가상 메모리처럼 관리하여 단편화를 줄이고 더 높은 동시성을 가능하게 합니다.²² 캐시 압축 기법은 메모리 공간을 더욱 줄입니다. 프리픽스 캐싱은 요청이 공통 프리픽스를 공유할 때 재계산을 방지합니다—구조화된 프롬프트나 시스템 지침이 있는 애플리케이션에 유용합니다.
모델 증류는 특정 도메인에서 더 큰 모델의 동작을 근사하는 더 작은 모델을 생성합니다. 대상 작업에서 GPT-4 성능에 맞먹는 증류된 7B 모델은 애플리케이션 관련 품질을 유지하면서 인프라 비용의 일부로 운영됩니다.²³ 증류는 훈련에 선행 투자가 필요하지만 지속적인 추론 절감을 생성합니다.
이러한 기법들을 결합하면 효과가 복합적으로 증가합니다. 양자화(4배), 연속 배칭(2배), 추측적 디코딩(2배)을 적용하는 조직은 순진한 배포 대비 16배의 효과적인 비용 절감을 달성할 수 있습니다—한계적으로 보이던 경제성을 상당한 이점으로 변환합니다.
API vs 자체 호스팅 결정 프레임워크
직접 구축 vs 구매 결정은 단순한 비용 비교를 넘어선 요소들에 달려 있습니다.
API 추론을 선택해야 할 때: - 트래픽이 산발적이거나 예측 불가능할 때 - 볼륨이 하루 8,000건 대화 미만일 때 - 엔지니어링 역량이 제한적일 때 - 모델 선택의 빠른 반복이 중요할 때 - 규정 준수 요구사항이 공급업체 인증으로 충족될 때 - 지연 시간 요구사항이 공급업체 SLA와 일치할 때
자체 호스팅을 선택해야 할 때: - 트래픽이 일관되고 대량일 때 - GPU 활용률을 지속적으로 50% 이상 유지할 수 있을 때 - 데이터 주권으로 클라우드 API 사용이 불가능할 때 - 커스텀 모델에 전문 서빙이 필요할 때 - 지연 시간 요구사항이 공급업체 역량을 초과할 때 - 비용 최적화가 엔지니어링 투자를 정당화할 때
하이브리드 접근법이 종종 최적입니다. 조직은 기본 트래픽을
[번역을 위해 내용 일부 생략]
