sparse autoencoder
浏览数：32 /
时间：2015年06月09日
1.autoencoder
autoencoder的目标是通过学习函数
，获得其隐藏层作为学习到的新特征。
从L1到L2的过程成为解构，从L2到L3的过程称为重构。
每一层的输出使用sigmoid方法，因为其输出介于0和1之间，所以需要对输入进行正规化
使用差的平方作为损失函数
2.sparse
spare的含义是，要求隐藏层每次只有少数的神经元被激活：
隐藏层的输出a，a接近于0，称为未激活
a接近1，成为激活
使用如下方法衡量：
每个隐藏层的神经元有p的概率为激活，1-p的概率未激活（p一般取0.05、0.01等接近0的値）
用
作为p的估计
使用KL散度，衡量两个分布的差异性
3.代码参考
ufldl练习 tornadomeet的实现
郑重声明：本站内容如果来自互联网及其他传播媒体，其版权均属原媒体及文章作者所有。转载目的在于传递更多信息及用于网络分享，并不代表本站赞同其观点和对其真实性负责，也不构成任何其他建议。
