AdamW:权重衰减与 L2 正则化的区别
2024-04-20
比较 L2 正则化与解耦权重衰减在 SGD、动量和 Adam 中的更新公式,通过数值例子解释 AdamW 的做法。
2716 字 14 分钟
用 PyTorch 写一个 Transformer 文本生成器
2024-04-13
用 Python 和 PyTorch 实现字符级文本生成器,介绍训练样本、因果掩码、Padding 处理、位置嵌入,以及训练和自回归生成代码。
7562 字 38 分钟
怎么从概率分布中采样:逆变换、拒绝采样和 Thompson Sampling
2024-04-11
用逆变换和拒绝采样生成指定分布的样本,推导它们为什么有效,再用 Thompson Sampling 说明采样怎样帮助选择动作。
3517 字 18 分钟
Gamma、Beta 和 Dirichlet 分布怎么理解
2024-04-10
从成功次数和未知成功率的区别出发,推导 Beta、Dirichlet 分布如何更新后验,再看它们与 Gamma 分布的关系。
4240 字 21 分钟
困惑度 Perplexity:怎么算,怎样比较语言模型
2024-04-10
从条件概率推导困惑度(Perplexity),说明它与交叉熵的关系,以及哪些 token 要计分、怎样计算整份语料的分数、怎样比较模型。
3834 字 19 分钟