直接从“互信息很难算”这件事说起吧。做机器学习研究或者搞自监督表示学习的人,大概率都被互信息这个概念折磨过。它理论上很漂亮,能刻画两个变量之间共享的信息量,但一旦落到实际数据上,几乎没法直接算:不知道联合分布,后验分布通常也没解析式。于是就有了这么一类方法,用一个参数化的模型去逼近互信息,给互信息找一个可优化的下界,也就是标题里说的 variational bounds of mutual information。这篇
RELATED READING
延伸阅读
更多一线实战笔记与深度复盘,助您持续精进