OpenAI RAG и продакшн-паттерны · Урок 3
Prompt Caching: -80% latency на повторяющихся промптах
OpenAI автоматически кеширует промпты от 1024 токенов. Разбираем механику кеширования tools, изображений и системных промптов, мониторинг cache_read_input_tokens, лучшие практики размещения статичного контента.