以下为上游提供的源文稿,可能存在识别错误。
乔木转写是基于源文稿的中文提炼,不是逐字翻译。请核对原文中的人名、数字与观点。
选一篇,慢慢读
从左侧挑一篇,正文会在这里排成书页。
0. 阅读收获 (takeaway) 读完本文,你将了解: KV Cache 的原理以及它为什么对 LLM 推理如此重要 Prefill 与 Decode 两个推理阶段的区别 Compute Bound 与 Memory Bound 背后的直觉 一个很好的问题:Prefill 阶段为什么需要计算 所有 token 的 Q? Prompt Caching(前缀缓存)的工作原理 KV Cache 和 Prompt Cache 对于 Agent 设计的影响: Agent 系统中的 Prompt Caching 设计(上):Cache 破坏、Prompt 布局与工具管理 —— 为什么 Agent 更需要 Cache、什么会破坏 Cache、
阅读原文 · 袁超发技术博客
向阳乔木 · deepseek-v4-1-flash-261017
每次调用大模型 API,账单里有一笔钱其实花得挺冤:你反复发送同一段 system prompt,模型每次都在从头重算一遍。 Anthropic 和 OpenAI 都提供了 Prompt Caching 来省这笔钱,折扣能到 90%。但它有个极其苛刻的前提: 前缀必须一个 token 都不差 。改一个字,后面全部失效。 要理解这个约束从哪来,得先搞清楚 KV...