Hako

Preface

A Paper A day Keep the Doctor Away。 今天的文章是：

Understanding disentangling in β-VAE. (NIPS2017) [paper]

本文从Information BottleNeck的角度分析了beta-VAE的ELBO，第一项为图像重建的${q(z|x)}$的BottleNeck，KL项为X和Z的互信息量。优化KL项，使得Z和X的互信息量减小，阻碍了图像重建。除此之外，作者认为beta-VAE会根据KL项限制（BottleNeck的容量）按对重建贡献大小的顺序学习不同的generative factors。由此，作者提出限制BottleNeck的容量从小到大的训练方法修改了beta-VAE的ELBO，使得模型可以按对重建贡献大小顺序逐渐学习不同的generative factors的Disentangled表示。

DL 中信息论的有关公式和内容：

Preface

A Paper A day Keep the Doctor Away。 今天的文章是：

Dreaming to Distill: Data-free Knowledge Transfer via DeepInversion. (CVPR2020 Oral). [paper]

本文针对的问题是：从预训练的CNN中生成高质量的自然图像，并使用合成图像对预训练的CNN进行蒸馏，实现Data-Free的相关应用，主要内容包括：

• DeepInversion(DI): DeepDream的基础上，改进DeepDream的正则化项，提高生成图像的质量的方法。
• AdaptiveDeepInversion(ADI)： DI 的基础上，引入蒸馏子网和图像生成两个过程的竞争，进一步提高生成图像的多样性方法。
• Data-Free 应用，包括：
  • Data-Free Pruning
  • Data-Free Knowledge Transfer
  • Data-Free Continual Learning

本周阅读的是"Isolating Sources of Disentanglement in VAEs"。

本文是一篇典型的探索VAE损失函数，促进模型的Disentangled Representation的文章。这类文章的套路是：从损失函数的KL项中${q(z | x)}$贴合的分布形式出发，提出一种直觉上看起来合理的损失函数形式，在几个ToyDataset上报告看起来还不错的结果就完事。本文对KL项的分解借鉴了几篇之前的文献，比较可取，同时比较符合直观感受，而且近似计算上下了很大的功夫，对比实验也比较详实。公式看的我比较辛苦。。。。

VAE

VAE 最通常联系的topic有：

• Disentangled Representation Learning.
• Image Generation. 趋势是VAE和GAN模型的融合，优势互补。

本周阅读的是"${\beta}$-VAE:Learning Basic Visual Concepts with a constrained variational framework"。

本文是Disentangled Representation领域中比较有代表性的文章，首先VAE模型本身有利于学习disentangled隐编码表示（由于Encoder,Decoder结构和变分下界损失），而作者提出的${\beta}$-VAE，通过加强分量独立性限制的方式增强了VAE模型的disentangle能力，但是对${\beta}$所起的作用分析还不够清楚。

最近阅读的文章围绕的主题是：对pre-trained的GAN，通过在隐空间移动原始的隐编码，完成原图像的某种操作。

Wrt. one pre-trained GAN model, we would like to get edited images, which orginally generated by some latent codes through GAN, by simply moving the original latent codes in the latent space and passing them through GAN.

这种操作包括：

• 语义编辑
• 图像变换

而在语义编辑方向，势必要涉及到Disentangled Representation的问题。

本周阅读的文献是：“GANSpace： Discovering Intrepretable GAN controls”。

本文作者提出用PCA寻找latent space上有意义的语义变换方向，对以StyleGAN和BigGAN为代表的两类模型分别提出了对${\mathcal{W}}$隐空间分解和输出激活分解的方法，然后对得到的主成分方向的语义进行了定性分析。最后作者提出了一种比较novel的Layer-wise Edit方法，使得BigGAN可以像StyleGAN一样通过不同层注入的噪声改变输出的图像的不同尺度的细节。

Need of my blog

以后所有关于blog的坑都记录在这里，记不下了再开新坑。

• Need of my blog
• Steps
  • Change - 2020-10-25
  • Change - 2020-06-06
  • Change - 2020-04-21
  • Change - 2020-04-21
  • Change - 2020-04-19

本文针对"Controlling generative models with continuous factors of variations"[1] 一文学习。

problem

本文和之前阅读的论文问题也差不多：针对连续的变换${T}$，在latent space上寻找方向${\vec{u}}$，使得生成的图像是原图像经过${T}$变换后的图像。

是一种无监督（或者自监督）的控制GAN生成图像的方法。