1997 字
10 分钟
次浏览
GAN 的损失函数是怎么推出来的

0. 生成器和判别器各自要学什么#

GAN 有两个模型:生成器 GG 根据随机输入 zz 生成样本,判别器 DD 判断样本像不像真实数据。D(x)D(x) 越接近 1,表示判别器越倾向于认为 xx 是真实样本。原始论文把训练目标写成:

min⁡Gmax⁡D[Ex∼pdatalog⁡D(x)+Ez∼pzlog⁡(1−D(G(z)))]\min_G\max_D\left[ \mathbb{E}_{x\sim p_{\mathrm{data}}}\log D(x) +\mathbb{E}_{z\sim p_z}\log(1-D(G(z)))\right]

这个式子的意思是:判别器希望括号里的值越大越好,生成器则希望它越小越好。实际训练时,DD 和 GG 交替更新,并不会在一步之内同时求出最优解。

噪声经过生成器,生成样本与真实样本分别进入判别器
  1. 从①向上读:噪声 zz 先进入②生成器,变成假样本 G(z)G(z),再进入④判别器。噪声提供不同的输入,生成器负责把它变成与真实数据形状相同的样本。
  2. ②输出的假样本要交给④判断;仅仅“生成了一张图”还不等于学到了真实数据分布,训练要利用判别器的反馈继续调整生成器。
  3. 右侧③的真实样本 xx 不经过生成器,直接送入同一个判别器。两条输入路径解释了损失中为什么分别有真实样本项和生成样本项。
  4. ④对两类输入辨别真假。图中黑色箭头画的是前向数据流,没有画参数更新或反向梯度;蓝色引线只对应中文标注。

原图:《Dive into Deep Learning》GAN 章节,Aston Zhang、Zachary C. Lipton、Mu Li、Alexander J. Smola,CC BY-SA 4.0。此版本添加中文辅助标注,标注版同样采用 CC BY-SA 4.0;查看原始图片。

0.1 用样本平均近似期望#

这里 xx 是训练集中的真实样本,pdatap_{\mathrm{data}} 是产生真实样本的分布;zz 是随机噪声向量,pzp_z 是我们自己选的噪声分布,例如标准正态。G(z)G(z) 与 xx 形状相同,例如都是一张图片。训练时,我们不断抽取新的输入样本,并更新 GG、DD 各自的网络参数。

Ex∼p[f(x)]\mathbb E_{x\sim p}[f(x)] 表示按分布 pp 对 f(x)f(x) 加权平均。实际训练通常无法遍历整个分布,因此抽取 mm 个样本,用 1m∑i=1mf(xi)\frac1m\sum_{i=1}^m f(x_i) 近似期望。于是前面的目标在一个 batch 上变成:

V^=1m∑i=1m[log⁡D(xi)+log⁡(1−D(G(zi)))].\widehat V=\frac1m\sum_{i=1}^{m} \left[\log D(x_i)+\log(1-D(G(z_i)))\right].

第一个期望对真实样本上的 log⁡D(x)\log D(x) 求平均,第二个期望对噪声样本对应的 log⁡(1−D(G(z)))\log(1-D(G(z))) 求平均。采样时,无需为每个噪声指定一张真实图片作为生成目标。本文使用自然对数。若正确类别的预测概率从 0.10.1 提高到 0.90.9,负对数损失就从约 2.3032.303 降到 0.1050.105,所以它会惩罚“很自信地判断错误”。

下面先把判别器看成一个普通的二分类模型,写出它的损失;再看怎样利用判别器的输出训练生成器。推导需要对数和求导基础;比较两种生成器损失的梯度时,还会用到链式法则。

1. 判别器和生成器的损失函数#

1.1 判别器:把真实样本和生成样本分开#

判别器要把真实样本 xx 判为真、生成样本 G(z)G(z) 判为假。更新 DD 时固定 GG。

设标签为 y∈{0,1}y\in\{0,1\},模型认为样本为真的概率为 dd,则二元交叉熵为

ℓ(d,y)=−ylog⁡d−(1−y)log⁡(1−d).\ell(d,y)=-y\log d-(1-y)\log(1-d).

代入 y=1y=1,只剩 −log⁡d-\log d;代入 y=0y=0,只剩 −log⁡(1−d)-\log(1-d)。因此,真实样本标签为 1、生成样本标签为 0 时,分别求平均再相加就得到判别器损失:

LD=−Ex∼pdatalog⁡D(x)−Ez∼pzlog⁡(1−D(G(z))).\mathcal{L}_D =-\mathbb{E}_{x\sim p_{\mathrm{data}}}\log D(x) -\mathbb{E}_{z\sim p_z}\log(1-D(G(z))).

等价地,判别器最大化 V(D,G)=−LDV(D,G)=-\mathcal{L}_D:

V(D,G)=Ex∼pdatalog⁡D(x)+Ez∼pzlog⁡(1−D(G(z))).V(D,G)=\mathbb{E}_{x\sim p_{\mathrm{data}}}\log D(x) +\mathbb{E}_{z\sim p_z}\log(1-D(G(z))).

1.2 生成器:让生成样本更像真的#

生成器想让判别器把生成样本当成真的,也就是让 D(G(z))D(G(z)) 变大。更新 GG 时先固定 DD;原始总目标中的真实样本项与 GG 无关,因此生成器只需最小化:

LGminimax=Ez∼pzlog⁡(1−D(G(z))).\mathcal{L}_{G}^{\mathrm{minimax}} =\mathbb{E}_{z\sim p_z}\log(1-D(G(z))).

训练刚开始时,生成样本通常很容易被识别为假,D(G(z))D(G(z)) 可能接近 0。此时判别器已经很确定“这是假的”,原始损失传给生成器的梯度可能很小,更新就会很慢。论文还提出另一种训练写法:直接要求生成器提高判别器给生成样本的“真实”分数,即最小化

LGalternative=−Ez∼pzlog⁡D(G(z)).\mathcal{L}_{G}^{\mathrm{alternative}} =-\mathbb{E}_{z\sim p_z}\log D(G(z)).

论文把这个替代损失称为 non-saturating loss(非饱和损失)。它和原始损失都希望提高 D(G(z))D(G(z)),但函数形式和梯度不同。训练初期,非饱和损失通常能给生成器提供更强的梯度信号。不过,梯度还要穿过整个判别器才能到达生成器,因此换一种损失也不一定能解决所有梯度问题。

损失值的大小并不能直接说明梯度有多大,需要实际求导来比较。设判别器最后一个 sigmoid 的输入为实数分数 uu,输出 d=σ(u)=1/(1+exp⁡(−u))d=\sigma(u)=1/(1+\exp(-u))。它把任意实数映射到 (0,1)(0,1) 内,供模型表示“真实”的概率。由求导可得 dd/du=d(1−d)\mathrm d d/\mathrm d u=d(1-d)。对一条生成样本:

dlog⁡(1−d)du=−d,d(−log⁡d)du=d−1.\frac{\mathrm d\log(1-d)}{\mathrm d u}=-d, \qquad \frac{\mathrm d(-\log d)}{\mathrm d u}=d-1.

例如 d=0.01d=0.01 时,两者分别是 −0.01-0.01 和 −0.99-0.99。通过链式法则,它们还要乘上从 uu 到生成器参数的导数;所以上面的数值只比较了最后输出层传回去的梯度,生成器最终收到的梯度还取决于后面的连乘。

1.3 换了生成器损失后,总目标有什么不同#

采用原始极小极大目标时,生成器最小化、判别器最大化同一个 V(D,G)V(D,G):

min⁡Gmax⁡D V(D,G)=min⁡Gmax⁡D[Ex∼pdatalog⁡D(x)+Ez∼pzlog⁡(1−D(G(z)))].\min_G\max_D\ V(D,G) =\min_G\max_D\left[ \mathbb{E}_{x\sim p_{\mathrm{data}}}\log D(x) +\mathbb{E}_{z\sim p_z}\log(1-D(G(z)))\right].

若生成器采用上面的替代损失,判别器的目标不变,但不能再说双方都在优化同一个极小极大目标。

2. 交替更新判别器和生成器#

一次训练迭代可拆成两步:

  1. 更新 DD:抽真实数据和噪声,将生成样本作为标签 0 的输入,最小化 LD\mathcal L_D。这一步不更新 GG,通常将生成样本从 GG 的计算图中分离。
  2. 更新 GG:再抽噪声,通过 GG 和 DD 计算生成器损失。固定 DD 的参数,但仍要通过 DD 对其输入求导,才能把梯度传回 GG。若把整个 DD 前向过程都放进不记录梯度的区域,GG 就收不到信号。
Google 教程原图:生成器训练时,反向传播经过判别器回到生成器

沿图中黄色框读生成器这一步:黑色箭头从随机输入向右走,直到 Generator loss;黄色反向箭头则从损失穿过 Discriminator,回到 Generator。经过判别器求梯度,不等于更新判别器参数。上方真实图片分支不参与这次生成器损失,更新的只有生成器;这正是“冻结参数”和“切断计算图”的区别。

图源:Google Developers,The Generator,Figure 1,CC BY 4.0。保留原图,黄色框与箭头均为原作者标记。

min⁡Gmax⁡D\min_G\max_D 表示一个模型要最小化、另一个要最大化,不要求每一轮把 DD 完全训练到最优。原始论文 Algorithm 1 在每轮中先更新判别器 kk 次,再更新生成器一次。算法框中的生成器使用原始极小极大损失,正文另外提出了前述非饱和损失;实现时要明确选用哪一种。

参考资料#

  1. Goodfellow et al., Generative Adversarial Nets,第 3 节与 Algorithm 1
GAN 的损失函数是怎么推出来的
https://xuchenhui.cc/posts/2024-04-11-gan-loss-derivation/
作者
CHENHUI
发布于
2024-04-11
许可协议
CC BY-NC-SA 4.0

上述许可适用于本站原创内容;引用的图片、代码等第三方素材,以各自注明的许可为准。

📖 目录