AWS Machine Learning Blog· Claudio Mazzoni·· 6 天前AI 评分40
AI 智能体的“土拨鼠之日”：在 Amazon Bedrock 上使用 OpenAI 模型的提示词缓存模式
Groundhog Day for AI agents: Prompt caching patterns for using OpenAI models on Amazon Bedrock
AI 导读
在 Amazon Bedrock 上使用 OpenAI 模型时，提示词缓存可让智能体复用已处理的输入前缀，避免每一轮都重新计费全部上下文。缓存分隐式（由 Bedrock 自动选择可复用前缀终点）和显式（用 prompt_cache_breakpoint 标记终点）两种，可组合使用；可复用前缀需达到 1,024 tokens。
来源：AWS Machine Learning Blog · aws.amazon.com