AdamW:权重衰减与 L2 正则化的区别
比较 L2 正则化与解耦权重衰减在 SGD、动量和 Adam 中的更新公式,通过数值例子解释 AdamW 的做法。
2716 字 14 分钟
KL 散度是什么,怎么计算
用多付出的预测损失理解 KL 散度,再推导它为什么非负、如何联系交叉熵和互信息,以及高斯分布的 KL 怎么算。
3449 字 17 分钟
用 PyTorch 写一个 Transformer 文本生成器
用 Python 和 PyTorch 实现字符级文本生成器,介绍训练样本、因果掩码、Padding 处理、位置嵌入,以及训练和自回归生成代码。
7562 字 38 分钟
AUC 和 GAUC 怎么理解、怎么算
从 ROC 曲线看 AUC 为什么能评价排序,手算逐对比较和秩和公式,再用两个用户的推荐结果解释 GAUC。
3410 字 17 分钟
GAN 的损失函数是怎么推出来的
从真假二分类推导判别器损失,再看生成器为什么常用非饱和损失,以及两个网络如何交替更新。
1997 字 10 分钟
怎么从概率分布中采样:逆变换、拒绝采样和 Thompson Sampling
用逆变换和拒绝采样生成指定分布的样本,推导它们为什么有效,再用 Thompson Sampling 说明采样怎样帮助选择动作。
3517 字 18 分钟
Gamma、Beta 和 Dirichlet 分布怎么理解
从成功次数和未知成功率的区别出发,推导 Beta、Dirichlet 分布如何更新后验,再看它们与 Gamma 分布的关系。
4240 字 21 分钟
困惑度 Perplexity:怎么算,怎样比较语言模型
从条件概率推导困惑度(Perplexity),说明它与交叉熵的关系,以及哪些 token 要计分、怎样计算整份语料的分数、怎样比较模型。
3834 字 19 分钟