Groq LPU-infrastructuur: AI-inferentie met ultralage latentie
Groq's LPU-inferentie-engine levert Llama 2 70B met 300 tokens per seconde—tien keer sneller dan NVIDIA H100-clusters. Ontdek hoe de deterministische uitvoering en on-chip SRAM-architectuur real-time AI-toepassingen mogelijk maken die onmogelijk zijn met GPU's.
None