全部
全部

选一篇,慢慢读

从左侧挑一篇,正文会在这里排成书页。

文章与公开阅读资产

理解 KV Cache 与 Prompt Caching:LLM 推理加速的核心机制

0. 阅读收获 (takeaway) 读完本文,你将了解: KV Cache 的原理以及它为什么对 LLM 推理如此重要 Prefill 与 Decode 两个推理阶段的区别 Compute Bound 与 Memory Bound 背后的直觉 一个很好的问题:Prefill 阶段为什么需要计算 所有 token 的 Q? Prompt Caching(前缀缓存)的工作原理 KV Cache 和 Prompt Cache 对于 Agent 设计的影响: Agent 系统中的 Prompt Caching 设计(上):Cache 破坏、Prompt 布局与工具管理 —— 为什么 Agent 更需要 Cache、什么会破坏 Cache、

阅读原文 · 袁超发技术博客

乔木风格重写

向阳乔木 · deepseek-v4-1-flash-261017

每次调用大模型 API,账单里有一笔钱其实花得挺冤:你反复发送同一段 system prompt,模型每次都在从头重算一遍。 Anthropic 和 OpenAI 都提供了 Prompt Caching 来省这笔钱,折扣能到 90%。但它有个极其苛刻的前提: 前缀必须一个 token 都不差 。改一个字,后面全部失效。 要理解这个约束从哪来,得先搞清楚 KV...

  • JK下一篇 / 上一篇
  • S收藏
  • A问 AI
  • I沉浸阅读
  • Esc退出