深度生成模型之GAN基础 -＞（个人学习记录笔记）

文章目录

深度生成模型之GAN基础

生成对抗网络

1. 生成对抗网络如何生成数据

  • 生成对抗网络(Generative Adversarial Network,GAN),不显式地估计出数据分布的密度函数，但能生成符合数据分布P_data(x)的样本

在这里插入图片描述

2. 生成对抗原理

  • 生成网络和判别网络相互对抗(adversarial),共同学习

在这里插入图片描述

3. GAN的核心优化目标

  • 生成器损失与判别器损失

在这里插入图片描述

4. D的优化

  • 判别器的优化目标

在这里插入图片描述

  • 生成器优化目标

在这里插入图片描述

5. GAN的理想状态

  • 约翰-纳什提出的纳什均衡(Nash equilibrium)

在这里插入图片描述

6. GAN的训练

  • SGD交替优化，先更新k次判别器，保证判别网络足够强，再更新生成网络

在这里插入图片描述

7. 梯度不稳定与模式崩塌(collapse mode)问题

  • 矛盾与不对称的优化目标

在这里插入图片描述

8. 梯度消失问题

  • 过大过小的激活值，梯度进入消失区

在这里插入图片描述

  • 部分内容来自阿里云天池