denoising autoencoder
浏览数：24 /
时间：2015年06月09日
神经网络的挑战和关键技术：
1.神经网络结构决定（层，神经元，连接）
加入特定领域的知识（CNN 图片处理）
2.模型复杂度高
大的数据量；
regularization: dropout；denoising
3.最优化困难
好的初始化以避免局部最优：pre-training
4.计算复杂度高
好的硬件方案：mini-batch with GPU
pre-training（对神经网络连接的初始权重进行训练）
好的权重的一个标准-能保留原先的信息
AutoEncoder：
用途：1.informative representation-保留原先数据的信息
2.typical representation-保留大部分数据的信息
density estimation：如果x位于稠密区域，|g(x)-x|小
outlier detection：异常値位于不稠密区，|g(x)-x|大
3.在pre-training中训练初始权重
进阶：denoising autoencoder（在输入中加入人工noise，使robust）
郑重声明：本站内容如果来自互联网及其他传播媒体，其版权均属原媒体及文章作者所有。转载目的在于传递更多信息及用于网络分享，并不代表本站赞同其观点和对其真实性负责，也不构成任何其他建议。
