生成对立收集

生成对立收集是一种无监视进修方法,是一种通过用对立收集来教练生成模子的架构。它由两个收集构成:用来拟合数据分布的生成收集G,和用来判别输入是否“实”的判别收集D。教练进程中,生成收集-G通过承受一个随机的噪声来尽量模拟教练汇合的实图片去“诈骗”D,而D则尽可以的区分实数据和生成收集的输出,从而变成两个收集的博弈进程。抱负的状况下,博弈的结果会取得一个可以“以假乱真”的生成模子。

根源:Generative Adversarial Networks
简介

生成对立收集是一种无监视进修方法,是一种通过用对立收集来教练生成模子的架构。它由两个收集构成:用来拟合数据分布的生成收集G,和用来判别输入是否“实”的判别收集D。教练进程中,生成收集G通过承受一个随机的噪声来尽量模拟教练汇合的实图片去“诈骗”D,而D则尽可以的区分实数据和生成收集的输出,从而变成两个收集的博弈进程。抱负的状况下,博弈的结果会取得一个可以“以假乱真”的生成模子。

Figure 1. 生成对立收集示企图

描画根源:

Generative Adversarial Nets https://arxiv.org/pdf/1406.2661.pdf

wiki https://en.wikipedia.org/wiki/Generative_adversarial_network

图片根源:

Generative Adversarial Nets https://arxiv.org/pdf/1406.2661.pdf

  • GAN 变体
    • 表面
      • 目标函数:DCGAN
      • 教练方式:WGAN
    • 潜空间(latent space)
      • 剖析(decomposition):CGAN
      • 联合VAE:VAEGAN
    • 运用:
      • 图像转换:BicycleGAN, CycleGAN
      • 离散模子:Adversarial Learning for Neural Dialogue Generation

开展历史

生成模子指能随机生成观测数据的模子。正如Richard Feynman所说“What I cannot create, I do not understand(我不睬解我不行创制之物)”,生成模子将生成观测变量与目标变量间的繁杂联系外示成一个联合概率分布,是一种可以剖析了解事物的模子。GAN之前,主流生成模子包罗FVBN, VAE等等(图2),但这些模子都保管各自的缺陷。由Ian Goodfellow等人2014提出的生成对立收集办理的许众这些模子的缺陷:如FVBN无法并行,生成样本速率迟缓;VAE只可生成模糊的图像;依赖马科夫链(Markov Chain)的玻尔兹曼机(Boltzmann machine)。而GAN本身难教练,不稳定等缺陷也垂垂被后续的各式变体GAN垂垂所改良。

图2 生成模子分类 (Ian Goodfellow, NIPS tutorial, 2016)

主要事情

年份

事情

相关论文

2014

Goodfellow等提出GAN

Goodfellow, I., Pouget-Abadie, J., Mirza, M., Xu, B., Warde-Farley, D., Ozair, S., Courville, A., and Bengio, Y. Generative adversarial nets. In Advances in Neural Information Processing Systems (NIPS), 2014.

2015

Radford等提出DCGAN

Radford, Alec, Luke Metz, and Soumith Chintala. "Unsupervised representation learning with deep convolutional generative adversarial networks." arXiv preprint arXiv:1511.06434 (2015).

2017

Martin等提出WGAN

Arjovsky, Martin, Soumith Chintala, and Léon Bottou. "Wasserstein gan." arXiv preprint arXiv:1701.07875 (2017).

开展剖析

瓶颈

除了神经收集广泛保管的对数据量和教练时间的高请求除外,因为没有好的教练目标,GAN广泛较难教练(DCGAN试图办理);有时分,生成图像的众样性不敷好;以及因为生成收集会依据判别收集的输出梯度来改动合成数据使其能“诈骗”判别收集,GAN不行直接用于数据是离散的范畴(如NLP)。

未来开展偏向

GAN的瓶颈和缺陷催生出了以下几个差别的开展偏向:

  • 进步教练的稳定性
  • 包管输出的众样性
  • 将GAN思道运用到更众研讨范畴(NLP,RL等),使之可以离散数据上运用。比如Li等人近来的一篇论文(Adversarial Learning for Neural Dialogue Generation)中提出通过运用RL的方法来办理离散数据无法反向传达的题目,进而使得GAN能更好的运用离散数据集上。

Contributor: Yulong Cao

相关人物
简介
相关人物