Hako

prefaces

CV课的大作业，两篇论文： “Local Features and Kernels for Classification of Texture and Object Categories: A Comprehensive Study” 和 “Beyond Bags of Features: Spatial Pyramid Matching for Recognizing Natural Scene Categories”，的阅读、方法的总结以及后者的实现。

本文是第一篇论文的阅读。

Preface

每周精读论文： Disentangling Factors of Variatons Using Few Labels. [paper]

本文是作者在"Challenge"[1]一文阐述无监督方法不可能性之后，对无监督方法的改进，考虑人工少量标注的可能性，作者主要关心使用少量标注的使用。本文研究的两个改进方法是：(1) 使用少量标注进行调参；(2) 使用少量标注的半监督学习方法。乍一看，作者的方法不是很有新意，但是作者在实验中说明了两种方法带来的效果的提升，而且说明了两种方法对不准确的标注的鲁棒性，使得少量人工标注成为可能。

本文主要还是以实验为主。嫌麻烦直接看结论吧。

Preface

A Paper A Day Keep the Doctor Away. 今天的文章是：

Adversarial Latent Autoencoders. [paper] [codes] (CVPR2020)

本文的ALAE在github上挺热门的，思路其实也挺简单的，有值得令人深思的地方。

Preface

每周精读论文： Challenging Common Assumptions in the Unsupervised Learning of Disentangled Representations. [paper]

这篇文章之前读过，但是没有详细看实验部分。该文章读完不免让人感觉沮丧，作者在大量广泛的实验基础上，展示了无监督的 Disentangled表示学习方法在可解释性、无监督Metric、超参数选择、模型选择尤其是对下游任务的促进作用上的很多问题。但是同样作者认为无监督学习Disentangled表示学习是不可能的。

我比较认可作者的实验暴露出的问题，但是对作者关于无监督学习Disentangled表示学习是不可能的观点持保留意见。

Preface

A Paper A Day Keep the Doctor Away. 今天的文章是：

Variational Inference of Disentangled Latent Concepts from Unlabeled Observations. (ICLR2018) [paper]

本文也是通过修改ELBO的方法促进Disentanglement，并提出了基于协方差惩罚的DIP-VAE-I, DIP-VAE-II的模型，和SAP(Separated Attribute Predictability)Metric。

Preface

A Paper A Day Keep the Doctor Away. 今天的文章是：

Hyperprior Induced Unsupervised Disentanglement of Latent Representations. [paper] [codes] (AAAI2019)

本文通过引入principled hierarchical bayes prior，修改VAE种隐编码的先验${p(z) = \mathcal{N}(z;0,\Sigma)}$，将先验的方差作为随机变量，让VAE学习方差的分布。该方法的引入使得我们可以通过控制${\Sigma}$的期望分布形式，学习隐编码的变量之间的关系的模型，而不仅仅是要求相互独立。

Preface

A Paper A Day Keep the Doctor Away. 今天的文章是：

Relevance Factor VAE: Learning and Identifying Disentangled Factors. [paper]

本文提出的RF-VAE是BF-VAE的前作，也是同一个组的工作。RF-VAE主要基于FactorVAE，通过对隐分量中的relevant变量和nuisance变量分别取不同的约束强度形式，希望二者学习到不同的分布，并引入了一个relevance indicator变量的学习同时达到辨识隐编码中有用和无用的分量的效果。

Preface

A Paper A Day Keep the Doctor Away. 今天的文章是：

Adversarial AutoEncoders. [paper]

本文就是有名的AAE模型，对AutoEncoder加入Adversarial Regularization，将它变成了生成模型。本文借鉴了VAE的思路扩展AutoEncoder，同时借鉴GAN的思路促使合计后验${q(z)}$和期望先验${p(z)}$的prior match。

Preface

A Paper A Day Keep the Doctor Away. 今天的文章是：

Structured Disentangled Representations. [paper]

本文也是针对ELBO分解的方式试图提高VAE的disentanglement效果，作者在以往的prior match的基础上进行进一步分解，加入了组变量（${z}$的多个维度构成）${z_d}$的独立性和${z_d}$组内的变量${z_{d,e}}$变量的独立性的讨论，于是就将prior match变成了层级式。作者也是基于隐分量之间不可能完全独立，并且分量建模的特征差异性不同出发，并试图将隐变量之间的差异性大小分层建模。将多个相近的分量构成一个“组特征”，而“组特征”之间存在很大的差异性。比如说组特征可以为手写数字的类别和形状，形状又可以由大小、粗细等比较相近的特征组成。最后，作者将“组特征”用于区分离散变量和连续变量。 But codes is not available…

Preface

A Paper A Day Keep the Doctor Away. 今天的文章是：

Learning Disentangled Joint Continuous and Discrete Representations. (NIPS2018) [paper] [代码]

本文整体基于AnnealVAE，将隐空间中连续变量和离散变量的空间分开建模，并分开限制信道容量。在离散变量的分布的重参数化上，作者使用了[1]的"Gumbel Softmax"方法，在MNIST、FashionMNIST数据集上学习到了一定的离散分量。