课程笔记(李宏毅老师的GAN教程 2018)

Erestu 2019-11-30 AM 972℃ 0条

GAN-zoo

DCGAN

Conditional Generation

(supervised learning),之前的GAN时输入一个随机的变量,出来有一个结果,现在你可以输入一段文字text来输出对应输出的结果,可以操控要输出的结果。

Text-to-image

输入文字产生对应的图片,训练集为图片以及对应的图片

Stack-GAN

先生成小的,再生成大的

high resolution

HP(U_DE))CP{GZ~X{~IMT_5.png

Patch GAN

每次只检查图片中的一小块
如果只看一小块区域,叫做pathch-GAN,如果只看一个pixel,叫pixel GAN,要调整patchSize,得到最好的结果

PatchGAN的是GAN的判别器,将判别器换成了全卷积网络.
这么说并不严谨,PatchGAN和普通GAN判别器是有区别的,普通的GAN判别器是将输入映射成一个实数,即输入样本为真样本的概率.PatchGAN将输入映射为NxN的patch(矩阵)X,$X_{ij}$​的值代表每个patch为真样本的概率,将$X_{ij}$​求均值,即为判别器最终输出,XXX其实就是卷积层输出的特征图.从这个特征图可以追溯到原始图像中的某一个位置,可以看出这个位置对最终输出结果的影响.
一些研究表明对于要求高分辨率、高清细节的图像领域中,普通GAN判别器并不适合,由此引入了PatchGAN,它的感受域对于与输入中的一小块区域,也就是说,$X_{ij}$对应了判别器对输入图像的一小块的判别输出,这样训练使模型更能关注图像细节。

3D-GAN

CVAE-GAN

CYCLE-GAN

pix2pix

WGAN

Unsupervised Conditional Generation

Approach 1 : Direct Transformation

CycleGAN

cycleGAN.png
CycleGAN本质上是两个镜像对称的GAN,构成了一个环形网络。
两个GAN共享两个生成器,并各自带一个判别器,即共有两个判别器和两个生成器。一个单向GAN两个loss,两个即共四个loss。

StarGAN

如果是普通的GAN,多个domain之间互转,需要C4取2个generator,StarGAN只需要一个generator,如图,输入为一个target domain和一个input image,生成fake image,fake image + original domain 输入到生成器,生成原来的图片reconstructed image,将reconstructed image和input image对比。将fake image 输入到discriminator,discriminator判断该图是否为fake,并判断出fake image 的domain classification。

starGAN.png

Approach 2 : Projection to Common Space

sharing the parameters of encoders and decoders

因为Xdomain和Ydomain是映射到一个公共空间,所以要求生成通过一个类型的attribute(如face attribute),即encoderX和encodeY得到的embedding要尽量相似。

sharing the parameters of encoders and decoders (Couple GAN,UNIT)

sharing parameters

Gauillaume Lample

在中间latent space加一个Domain Discriminator,判断embedding是来自encodeX还是encoderY,encodeX还是encoderY生成的embedding要尽量可以骗过discriminator。(The domain discriminator forces the output of $EN_X$ and $EN_Y$ have tyhe same distribution.)

Gauillaume Lample

Semanic Consistency

计算两个latent embedding的相似度(A->encodeX->embeddingA->decodeY->B->encodeY->embeddingB)embeddingA与embeddingB的距离
Cycle consistency: 计算A与A->B->A中第二个A的相似度

TWXP63X3CM~JC2V9V9UJB.png

reference

  • https://www.bilibili.com/video/av24011528?from=search&seid=12394658595349015473
标签: gan

非特殊说明,本博所有文章均为博主原创。

评论啦~