NVIDIA NIM และ Inference Microservices: การ Deploy AI ในระดับองค์กร
NIM ให้ throughput สูงกว่า 2.6 เท่าเมื่อเทียบกับการ deploy H100 แบบมาตรฐาน (1,201 เทียบกับ 613 tokens/วินาที บน Llama 3.1 8B) Cloudera รายงานประสิทธิภาพเพิ่มขึ้น 36 เท่า NIM 1.4 (ธันวาคม 2024) ทำความเ...