Convolutional Deep Belief Networks 卷积深信度网络论文笔记

浏览数：1422 / 时间：2015年06月09日

参考论文：1、Convolutional Deep Belief Networks for Scalable Unsupervised Learning of Hierarchical Representations
2、Stacks of Convolutional Restricted Boltzmann Machinesfor Shift-Invariant Feature Learning

预备知识：http://blog.csdn.net/zouxy09/article/details/9993371

文章开头作者就提出目前的多层生成模型（如DBN）所存在的问题：对高维图像做全尺寸衡量(scaling such models to full-sized)很困难。详细来说传统的多层生成模型DBN有两个方面的挑战：

①图像时很高维度的，算法要能够合理的建模，且计算简便；

②对象常常分布在图像的局部，要求特征表示对输入的局部变换具有不变性。

接着，作者回想到CNN，其简便的计算和对局部特征的提取令人印象深刻。Bingo！CNN和DBN结合——CDBN！convolutional deep belief networks卷积深信度网络，该方法的关键部分是max-pooling，一种概率的降维技术手段。紧接着说出该方法是首创的，牛逼之处在于网络的第一、二和三层能够学习到边缘检测、对象局部和对象，如下图：

正文从序言介绍RBM和DBN开始，列出了RBM和Gaussian-Bernoulli RBM对应的能量函数，主要还是对前人工作的总结。对RBM或Gaussian-Bernoulli RBM的详细计算和推导可以在文章《Learning Multiple Layers of Features from Tiny Images》 BY Alex Krizhevsky，以及《深度学习读书笔记之rbm》自行百度谷歌吧。

接下来干货时间，仔细介绍CDBN。从介绍单层CRBM开始，先放出两个图，图2是单个滤波器在网络中的连接关系，图3是可视层到隐层的卷积计算方式：

一、单层CRBM网络的前向计算过程（positive phase）

输入为Nv×Nv的2D图像，和CNN一样CRBM可以设置多个特征滤波器(也称为卷积核)，假设有K个大小为Nw×Nw的特征滤波器。每个滤波器可以理解成一个通道，某个通道内部计算和其余通道无关。每个滤波器的计算分为convolution和pooling两个部分：一是由可视层到隐层的计算（convolution），图3形象的表示了计算过程conv2（v,w,‘valid‘）=h1，sigmoid函数激活后得到滤波器1在隐层的值（h1称为一个group）；二是隐层到下采样层pooling层的计算，这里采用了max-pooling方法，即按pool的大小（如2x2）每个区域选取当中最大值（图2中p），区域划为不重叠。这里的卷积和下采样过程类似CNN，详情参考LeCun的cnn论文。下面两个公式分别对应convolution和pooling的计算

其中I为

，Ba表示pooling区域

第二个pooling的公式是由max-pooling机制和P(h=1|v)的概率计算得到的，P(p=0|v)=1-P(h=1|v)，这里的P(h=1|v)表示pooling区域内h单元出现1的概率，max-pooling后p单元为1的概率P(p=1|v)=P(h=1|v)→P(p=0|v)=1-P(p=1|v)=1-P(h=1|v)。

计算所有滤波器通道，得到K个大小为NpxNp（其中Np=Nv-Nw+1）的group。最后需要做Gibbs sampling，这样才完成了CRBM的前向传播过程positive phase。事实上由于pooling层没有参数需要训练，pooling仅作为一个降维和正则化操作。

二、CRBM的反向计算过程negative phase

如上图及公式，其中带*的w表示滤波器w的转置。在前向传播的说明中提到：pooling层没有自由参数，因此在训练CRBM时可以从隐层出发反向传播回可视层。

每个可视层单元v都与K个滤波器相连，因此在逆过程negative phase的重构一定是所有滤波器的共同作用实现的，公式里表示成K个滤波器作用的叠加Σ。计算过程中可以用full的conv2函数实现，如Σ(conv2(h,w‘,‘full‘))。在论文Stacks of Convolutional Restricted Boltzmann Machines for Shift-Invariant Feature Learning中还将可视层分为边缘和中心两个部分做计算(因为前向卷积计算过程中边缘部分权重较小)，一般情况下分不分没关系，任务关注的目标常常分布于图像中间。

三、稀疏正则化

由于CRBM隐层单元远大于输入可视层，模型是超完备的。超完备容易容易导致滤波器仅表示单一像素而不是局部特征，一种常用的解决方法就是加入稀疏约束，强制隐层的大部分单元为零，设置整个隐层处于一个低的激活值。Lee还强调说：sparsity regularization during trianing was necessary for learning the oriented edge filters;when this term was removed the algorithm failed to learn oriented edges.没有稀疏约束算法就不能学习到有方向的边缘线条。

四、能量函数

在讲完网络的连接和计算后，给出模型的能量函数(个人以为：大神们的论文中总是将能量函数放在前面讲是为了方便而已，实际设计模型过程中往往是设计好可视层隐层和池化层后再在这个基础上推导出能量函数）。