全部
全部

选一篇,慢慢读

从左侧挑一篇,正文会在这里排成书页。

文章与公开阅读资产

Agent 系统中的 Prompt Caching 设计(上):Cache 破坏、Prompt 布局与工具管理

0. 阅读收获 (takeaway) 读完本文,你将了解: 从 Prompt Engineering 到 Context Engineering 的范式转变 为什么 Agent 比普通 Chatbot 更 需要 Prompt Caching 什么操作会破坏 Cache(比你想象的多) Prompt 布局与动态信息管理的最佳实践 工具管理的三种 Cache-aware 方案对比 前置知识 :本文假设你已经理解 KV Cache、Prefill/Decode 两阶段、以及 Prompt Cache 的前缀匹配机制。如果不熟悉这些概念,建议先阅读 理解 KV Cache 与 Prompt Caching:LLM 推理加速的核心机制 。 1

阅读原文 · 袁超发技术博客

乔木风格重写

向阳乔木 · deepseek-v4-1-flash-261017

一个 Agent 跑完一个任务,输入输出比大约是 100:1。模型吐出来的字只有它读进去的百分之一,剩下全是重复的历史。没有 Prompt Cache,每一步都要把这些历史重新 Prefill 一遍,成本随对话长度二次方增长。Claude Code 团队的人说过一句话:没有 prompt caching,编码 Agent 的成本根本不可承受。 这篇聊的是 A...

  • JK下一篇 / 上一篇
  • S收藏
  • A问 AI
  • I沉浸阅读
  • Esc退出