VAE

VAE 最通常联系的topic有：

  • Disentangled Representation Learning.
  • Image Generation. 趋势是VAE和GAN模型的融合，优势互补。

unsorted

  • AutoEncoding Variational Bayes. [paper] (Origninal Paper 1).
  • Stochastic backpropagation and approximate inference in deep generative models. [paper] (Origninal Paper 2)
  • Tutorial on Variational Autoencoders. [paper] CMU和UCB的VAE的学习材料，阐述了基本的VAE思想，还包括CVAE的内容。
  • Learning Structured Output Representation using Deep Conditional Generative Models. [paper] (CVAE)。
  • Adversarial AutoEncoder. [paper] (AAE)
  • Wasserstein Auto-Encoders. [paper]
  • Adversarial Latent Autoencoders. [paper] (ALAE) 近来火热的SOTA人脸生成模型。
  • Importance Weighted AutoEncoders. [paper]. 基于重要性采样的 VAE 的改进。

Disentangled Representation Learning

见另一篇总结文章

Sparsity Problem

Sparsity Problem是VAE类模型的常见问题：VAE的编码器仅使用隐变量z{z}的小子集。这在《Deep Learning》一书中也被提及到。该问题也被理解为VAE模型会自剪枝(self-pruning)、过剪枝(over-pruning)、后验坍缩(posterior collapse)问题。

和隐变量探索(latent variable collapse)区分开：隐变量探索指的是当近似后验完全和先验高斯相等时，近似后验完全和输入无关，什么也学不到。

这或许是VAE类模型用于多模态数据建模的正常现象？

  • Tackling Over-pruning in Variational Autoencoders. [paper] !!!
  • Sparsity in Variational Autoencoders。 [paper] !!!
  • Variational Autoencoders and the Variable
    Collapse Phenomenon. [paper] 这和上面是同一篇文章。
  • Redundancy-resistant Generative Hashing for Image Retrieval. [paper] !!

Likely

  • Variance Loss in Variational Autoencoders. [paper]
  • Don’t Blame the ELBO! A Linear VAE Perspective on Posterior Collapse. [paper] !!
  • Improved Variational Inference with Inverse Autoregressive Flow. [paper] 同时本文也是Kingma本人的一作。 !
  • Deep Unsupervised Clustering with Gaussian Mixture Variational Autoencoders. [paper] 这篇文章或许关注了该问题的出现是因为VAE对多模态数据建模？ !!
  • Avoiding Latent Variable Collapse With Generative Skip Models. [paper] 通过加入skip-connection的结构缓解问题。
  • Lagging Inference Networks and Posterior Collapse in Variational Autoencoders. [paper] 认为后验坍缩是因为在训练的早期阶段，encoder推断的近似后验落后于真实后导验致的。
  • Generating sentences from a continuous space. [paper] 其中3.1小节涉及到解决后验坍缩问题。
  • How to train deep variational autoencoders and probabilistic ladder networks. [paper] 在Dissucsion的Latent Representation中涉及到sparse问题。