NVIDIA NIM dan Inference Microservices: Menerapkan AI dalam Skala Enterprise
NIM menghasilkan throughput 2,6x lebih tinggi dibandingkan deployment H100 standar (1.201 vs 613 token/detik pada Llama 3.1 8B). Cloudera melaporkan peningkatan performa 36x. NIM 1.4 (Desember 2024) m...