文章分类与学习路线
置顶
机场与大模型 API 中转服务推荐
2026-05-06
介绍 XMRth 机场和 PackyAPI 大模型 API 中转服务,包括套餐、计费方式与使用前需要了解的事项。
1423 字 7 分钟
大模型显存(四):从 Prefill、Decode 到 KV Cache
2026-06-13
从 Prefill 和 Decode 的执行流程出发,手算 KV Cache 的复用与增长,再用 Llama-3-8B 核算权重、缓存和临时工作区,定位推理 OOM。
9204 字 46 分钟
大模型显存(一):模型运行时要存什么
2026-06-12
介绍 bit、byte、GB/GiB 和浮点格式,解释训练与推理中各类张量何时占用显存,并计算不同 Adam 配置的每参数存储量。
6990 字 35 分钟
大模型量化:从 INT4 编码到 GPTQ、AWQ
2026-05-16
从 bit、scale、zero-point 和量化误差讲起,逐步推导 GPTQ 的二阶误差补偿与 AWQ 的通道缩放,并说明部署时需要检查的格式、精度和性能。
9188 字 46 分钟
RoPE 旋转位置编码:为什么旋转 Q 和 K 就能表示相对位置
2026-05-16
推导 RoPE 的二维旋转和高维形式,解释相对位置怎样进入点积、频率怎样设置,以及距离变大后点积会怎样变化,并介绍 PyTorch 实现和 KV Cache 的位置处理。
6574 字 33 分钟
大模型怎样选下一个 token:Greedy、Top-K、Top-P 与 Beam Search
2026-05-16
介绍 Greedy、随机采样、Temperature、Top-K、Top-P 与 Beam Search,用例子说明组合采样的顺序、整段文本怎样评分,以及参数怎样选。
6017 字 30 分钟
怎样扩展大模型上下文:PI、NTK-aware 和 YaRN
2026-05-16
介绍超出训练长度后 RoPE 面临的问题,推导 PI、NTK-aware 和 YaRN 的频率缩放公式,并比较论文定义、代码实现与实验结果。
7086 字 35 分钟