Prompt caching은 언제 비용을 줄이고 언제 효과가 없을까
Prompt caching이 비용과 지연시간을 줄이는 조건을 반복 prefix, system prompt, tool schema, dynamic context 관점에서 설명합니다.
-
-
ChatGPT API 비용 계산은 왜 예상보다 어려울까: token, context, 입출력 구조로 보는 법
ChatGPT API 비용이 token, context window, input/output token, prompt caching, Batch API에 따라 어떻게 달라지는지 공식 문서 기준으로 쉽게 정리합니다.
