AWS Machine Learning Blog· Claudio Mazzoni·· 7 天前AI 评分58
AI 智能体的土拨鼠之日：在 Amazon Bedrock 上使用 OpenAI 模型的提示词缓存模式
Groundhog Day for AI agents: Prompt caching patterns for using OpenAI models on Amazon Bedrock
AI 导读
AWS 解决方案架构师撰文介绍在 Amazon Bedrock 上为 OpenAI 模型启用提示词缓存的实践模式，包括显式标记、隐式缓存以及两者结合三种用法。文中给出智能体多轮工具调用、会话中途新增工具、子智能体并行等场景的代码示例，并说明可缓存前缀至少需 1,024 token、TTL 至少 30 分钟。
来源：AWS Machine Learning Blog · aws.amazon.com