Інфраструктура кешування промптів: зниження витрат та затримок LLM
Префіксне кешування Anthropic забезпечує 90% зниження витрат та 85% зменшення затримок для довгих промптів. Автоматичне кешування OpenAI увімкнено за замовчуванням (50% економії витрат). 31% запитів до LLM демонструють...
None