以下为上游提供的源文稿，可能存在识别错误。
乔木转写是基于源文稿的中文提炼，不是逐字翻译。请核对原文中的人名、数字与观点。
选一篇，慢慢读
从左侧挑一篇，正文会在这里排成书页。
0. 阅读收获 (takeaway) 本文目标是搞懂 DPO（Direct Preference Optimization）算法，阅读完本文你将获得： 理解 DPO 的核心思想：为什么 DPO 可以替代 RLHF 中的 PPO 掌握 DPO 与 RLHF 的关键区别：从 4 个模型到 2 个模型 手撕 DPO Loss：理解损失函数到底在算什么 Bonus 1：为什么 DPO 比 PPO 训练更稳定 Bonus 2：DPO 损失函数的完整数学推导 源代码位于 Github -动手学习大模型-中文版-第 12.1章——动手学习 DPO 本文代码运行于： Featurize 蒜粒方块 GPU 算力平台 ，不喜欢看文字的同学可以看 B站视
阅读原文 · 袁超发技术博客
向阳乔木 · deepseek-v4-1-flash-261017
对齐大模型这件事，过去要同时伺候 4 个模型，调参调到怀疑人生。DPO 把这件事砍到只剩 2 个模型，训练过程跟 SFT 差不多稳。 这篇文章就把 DPO 拆开看：它想干什么、损失函数怎么算、代码怎么写，最后再补上为什么它比 PPO 稳，以及那条损失函数到底是怎么推出来的。代码放在 Github -动手学习大模型-中文版-第 12.1章——动手学习 DPO，...