Preface

2019年，Locatello等人的"Challenge…" 一文获得 ICML2019 best paper award，表示了学界对该文章指出文章的肯定，也成了无监督学习方法要获得认可迈不过去的一道坎（有关DR的无监督学习方法明显在近两年的顶会中减少），文章对无监督学习的指摘和实验中的结论主要是：

(1) 无监督学习方法存在辨识性问题，接下来的工作必须强调引入有关监督信息的归纳偏置（inductive biases），使得模型可辨识。

(2) DR学习方法应该注意学习到的表示能为下游任务带来的收益，增加相关的实验结果。

(3) 对比主流的无监督学习方法，对结果的影响上： 初始化 > 参数选择 > 模型选择。 无监督学习方法的 Metric, 调参方法存在很大的问题。

我对模型可辨识性的理解：学习DR的生成模型的loss达到最优值时，表示也应该是唯一的，disentangled的。

因此，在新的理论出现之前，以后的文章无论如何也绕不开这篇文章的几点要求，可以说，类似方法的文章，如果没有对该文章的问题回答，中的机会比较小。

在我的阅读中，之后的文章出现的趋势有：

(1) 改变先验： 在"Challenge…"的证明中，只证明了当先验p(z){p(z)}是可分解的时的情况，因此有相关的文章通过改变先验形式、将先验分布变成可学习的方法。

(2) 半监督、弱监督： Locatello也在该文章之后提出过关于半监督、弱监督的方法。 并在他的一篇文章中证明了他的弱监督方法的可辨别性。

(3) 理论研究： 包括定义、Metrics、调参方法。

Reading Lists

  • Learning Disentangled Representations via Mutual Information Estimation. [paper]. ECCV2020. 互信息量最大化角度、Encoder,Decoder模型。
  • High-Fidelity Synthesis with Disentangled Representation. [paper]. ECCV2020.
  • Theory and Evaluation Metrics for Learning Disentangled Representations. [paper]. ICLR2020. DR的定义、evaluation相关。
  • Weakly supervised disentanglement with guarantees. [paper]. [codes] ICLR2020. 弱监督学习方法。
  • Semi-Supervised StyleGAN for Disentanglement Learning. [paper]. ICML2020. StyleGAN + 半监督的DR学习。
  • Weakly-Supervised Disentanglement Without Compromises. [paper]. [Notes]. ICML2020. 弱监督的VAE学习方法。
  • Unsupervised Model Selection for Variational Disentangled Representation Learning. [paper]. ICLR2020. VAE模型的无监督调参方法。
  • Disentangling Factors of Variations Using Few Labels. [paper]. [Notes] ICLR2020. 半监督方法。
  • An Improved Semi-Supervised VAE for Learning Disentangled Representations. [paper] 半监督方法。

其他看法