小小程序员
2021-05-15 23:42:42
深度自动编码器（Deep Auto-encoders）
该架构提供了两种映射方式，好像是一个做非线性降维非常好的方法，它在训练事例的数量上是线性的（或更好的），而最终编码模型相当紧凑和快速。然而，使用反向传播优化深度自动编码器很困难，若初始权重较小，反向传播梯度会消失。我们使用无监督逐层预训练或像回声状态网络一样认真的初始化权重。
对于预训练任务有三种不同类型的浅自动编码器：
（1）RBM作为自动编码器；
（2）去噪自动编码器；
（3）压缩自动编码器。
对于没有大量标注的数据集，预训练有助于后续的判别式学习。即便是深度神经网络，对于大量的标注数据集，无监督训练对权重初始化并不是必要的，预训练是初始化深度网络权重的第一个好方法，现在也有其它方法。但如果扩大网络，需要再次做预训练。
条内容