Infraestrutura de Cache de Prompts: Reduzindo Custos e Latência de LLMs
Cache de prefixo da Anthropic entregando 90% de redução de custos e 85% de redução de latência para prompts longos. Cache automático da OpenAI habilitado por padrão (50% de economia). 31% das consultas a LLMs exibindo...
None