Preface

A Paper A Day Keep the Doctor Away. 今天的文章是:

Structured Disentangled Representations. [paper]

本文也是针对ELBO分解的方式试图提高VAE的disentanglement效果,作者在以往的prior match的基础上进行进一步分解,加入了组变量(z{z}的多个维度构成)zd{z_d}的独立性和zd{z_d}组内的变量zd,e{z_{d,e}}变量的独立性的讨论,于是就将prior match变成了层级式。作者也是基于隐分量之间不可能完全独立,并且分量建模的特征差异性不同出发,并试图将隐变量之间的差异性大小分层建模将多个相近的分量构成一个“组特征”,而“组特征”之间存在很大的差异性。比如说组特征可以为手写数字的类别和形状,形状又可以由大小、粗细等比较相近的特征组成。最后,作者将“组特征”用于区分离散变量和连续变量。 But codes is not available…

Main Contents


ELBO 分解

首先作者将 Standard ELBO