Tokenization:文字怎样变成 token,分词器怎样训练
2026-05-16
介绍字符、词和子词三种切分方式,解释 BPE、WordPiece、Unigram 的训练与分词规则,以及 SentencePiece 和 Python 示例的用法。
9104 字 46 分钟
在 WSL 上部署 Hermes Agent:接入微信、配置后台服务和浏览器
2026-05-15
记录 Windows 11 与 WSL2 上的 Hermes Agent 部署,介绍微信接入、systemd 服务管理、故障检查和 Camofox 浏览器配置,并区分官方功能与自建脚本。
6355 字 32 分钟
LLM 对齐入门:RLHF、PPO 与 DPO
2025-12-05
从 SFT 与偏好数据讲起,推导奖励模型、KL 正则、token 级 PPO 和 DPO 的训练目标,并给出损失计算代码和数值例子。
8907 字 45 分钟
因果推断(二):ITE、ATE、ATT 和 CATE 有什么区别
2025-02-05
用参加课程辅导的例子区分 ITE、ATE、ATT 和 CATE,再推导需要满足哪些假设,才能从观测成绩计算平均处理效应。
3254 字 16 分钟
深度强化学习:策略梯度、PPO 与价值学习
2024-04-30
介绍强化学习中的策略梯度和价值学习,逐步推导 PPO、Bellman 方程、Q-Learning、TD(λ) 与 GAE,并用数值例子说明各方法的更新过程。
11004 字 55 分钟
因果推断(一):相关不等于因果,处理效应怎么算
2024-04-26
跟着 Brady Neal 的课程,从辛普森悖论理解为什么分组会改变结论,再用潜在结果定义处理效应,推导什么时候能用观测数据计算。
4533 字 23 分钟
LangChain 应用开发:Prompt、检索、工具与 Agent
2024-04-24
以文档问答应用为例,介绍提示模板、示例选择、RAG、工具调用和 Agent,并说明旧版 LangChain 组件迁移时需要检查的接口变化。
8298 字 41 分钟