Generative Adversarial Networks——生成对抗网络（GAN）的基本思想
源自：博弈论的二人零和博弈（即：游戏双方的利益之和为零，一方所得正是一方所失。类似矛和盾的相辅相成，周伯通的左右手互博，假钞罪犯和辩钞警察魔道相抗）；
其由两部分组成：
判别器 (Discriminator)：
功能：一个二分类器，判断输入的数据是真实的还是生成器G模拟的；
输入：真实数据x和生成数据G（z）；
输出：输入数据是真实数据的相似概率p（0~1，0是假，1是真，0.5是无法区分）
目的：尽量正确判别输入数据是来自真实数据还是来自生成器
生成器(Generator)：
功能：从随机的噪声空间z中，根据判别器D的反向传播（backpropagation），捕捉真实数据x的数值分布规律（captures the data distribution）（To learn the generator’s distribution p g over data x, we define a prior on input noise variables p z (z), then represent a mapping to data space as G(z;θ g ), where G is a differentiable function represented by a multilayer perceptron with parameters θ g .）
输出：产生对真实数据的模仿输出G(z)；
目的：尽量去学习真实的数据分布
用途：作为一个具有 “ 无限 ” 生成能力的模型 , GAN的直接应用就是建模 , 生成与真实数据分布一致的数据样本 , 例如可以生成图像、视频等 . GAN 可以用于解决标注数据不足时的学习问题 , 例如无监督学习、半监督学习等 . GAN 还可以用于语音和语言处理 , 例如生成对话、由文本生成图像等 .
用GAN 生成细节丰富的图像
作者用 VGG 网络 [37] 作为判别器 ,用参数化的残差网络 [19] 表示生成器 , 实验结果如图4 所示
如何训练：
给定生成器 G 的情况下 ,
GAN 估计的是两个概率分布密度的比值 , 这也是和其他基于下界优化或者马尔科夫链方法的关键不同之处 。
先训练判别器D，使其能够有能力更好地识别真实数据x和假数据，能分配正确的标签，D(x) 代表的是 x 来源于真实数据
而非生成数据的概率 .，即让p(D(x)->1，D(G(z))->0;
然后训练生成器G，使其的输出G(z)作为判别器D的输入时，可尽量使D产生错误的判断以为G(z)和真实数据x很像，即使p[D(G(z))]更大，接近于1；即使p[1-D(G(z))]->0越小；
We train D to maximize the probability of assigning the correct label to both training examples and samples from G. We simultaneously train G to minimize log(1 − D(G(z))):
In other words, D and G play the following two-player minimax game with value function V (G,D):
我们的目的在于得到一个强大的足以以假乱真的生成器G，类似于师傅D训练关门弟子G，所以得先有尽职尽责得监督伴侣判别器D。前期要确保D的能力始终略强于G，直到把D的能力透支到极限时G也能混淆D，那就说明训练好D了！
起初，G什么都不懂，D要对G宽容些，指出G大方向显而易见的错误让G加以改正即可！随后，G变强了不服老师了，所以老师要严厉点，指出细节处的不足让其发疯图强！当然师傅也在不断进步，但通常G训练k次后，D才训练一次，防止过拟合！之后，G的实力越来越强，D也会越来越严格。两者亦师亦友互相借鉴了最后，决战打个平手，D识别不出G的真假时，G就出师了！~D(x)=0.5p (g)= p (data)
采用交替优化的方法 : 先固定生成器 G, 优化判别器 D, 使得D 的判别准确率最大化 ; 然后固定判别器 D, 优化生成器 G, 使得 D 的判别准确率最小化 .
当且仅当p data = p g 时达到全局最优解 . 训练 GAN 时 , 同一轮参数更新中 , 一般对 D 的参数更新 k 次再对 G的参数更新 1 次
GAN 在基于梯度下降训练时存在梯度消失的问题 , 因为当真实样本和生成样本之间具有极小重叠甚至没有重叠时 , 其目标函数的 Jensen-Shannon散度是一个常数 , 导致优化目标不连续 . 。
GAN 最突出的优点同时也是它最大的问题根源 . GAN 采用对抗学习的准则 , 理论上还不能判断模型的收敛性和均衡点的存在性 . 训练过程需要保证两个对抗网络的平衡和同步 , 否则难以得到很好的训练效果 .
