445浏览
0点赞
感知机（Perceptron）
作为第一代神经网络，感知机是只有一个神经元的计算模型。首先将原始输入矢量转化为特征矢量，再用手写程序定义特征，然后学习如何对每个特征加权得到一个标量，如果标量值高于某一阈值，则认为输入矢量是目标类的一
小小程序员 05-15 23:43
466浏览
0点赞
循环神经网络（ Recurrent Neural Network）
循环神经网络（RNN）有两个强大的属性可以计算任何计算机计算出来的东西：（1）允许存储大量有效信息的分布式隐藏状态（2）用复杂的方式允许更新隐藏状态的非线性动态。RNN强大的计算能力和梯度消失（或爆炸）使其很难训练。通过多层反向传播时，若权重很小，则梯度呈指
05-15 23:43
436浏览
0点赞
长短期记忆网络（Long/Short Term Memory Network）
HochreiterSchmidhuber（1997年）构建了长短期记忆网络，解决了获取RNN长时间记忆问题，使用乘法逻辑线性单元设计存储单元，只要保持“写入”门打开，信息就会写入并保持在单元中，也可以打开“读取”门从中获取数据
05-15 23:43
580浏览
0点赞
霍普菲尔德网络（Hopfield Networks）
非线性循环网络有很多种表现方式，较难分析：能达到稳定、震荡或馄饨状态这三种表现形式。Hopfield网络是由有循环连接的二进制阈值单元组成。1982年，约翰·霍普菲尔德发现，如果连接对称，则存在一个全局能量函数，
05-15 23:43
357浏览
0点赞
玻尔兹曼机（Boltzmann Machine Network）
玻尔兹曼机是一种随机循环神经网络，可以被看作是Hopfield网络的随机生成产物，是最先学习内部representations的神经网络之一。该算法旨在最大限度地提高机器在训练集中分配给二进制矢量的概率的乘积，相当于最大化
05-15 23:42
396浏览
0点赞
深度自动编码器（Deep Auto-encoders）
该架构提供了两种映射方式，好像是一个做非线性降维非常好的方法，它在训练事例的数量上是线性的（或更好的），而最终编码模型相当紧凑和快速。然而，使用反向传播优化深度自动编码器很困难，若初始权重较小，反向传
05-15 23:42
393浏览
0点赞
深度信念网络（Deep Belief Network）
反向传播，是人工神经网络计算处理一批数据后每个神经元的误差分布的标准方法，但是也存在一些问题。首先要标注训练数据，但几乎所有数据都没有标注；其次，学习时间不足，这意味着隐藏层数较多的网络较慢；第三，可
05-15 23:42
466浏览
0点赞
深度残差网络(Deep Residual Network, ResNet)
深度残差网络(Deep Residual Network, ResNet)是一种非常成功的深度学习方法，自2015年底在arXiv上公布以来，在谷歌学术(Google Scholar)上的引用次数已经接近3万次。深度残差收缩网络是ResNet的一种新型改进，后续
05-15 23:40
2122浏览
11点赞
卷积神经网络（Convolutional Neural Networks）
卷积神经网络（Convolutional Neural Networks）是一种深度学习模型或类似于人工神经网络的多层感知器，常用来分析视觉图像。卷积神经网络的创始人是着名的计算机科学家Yann LeCun，目前在Facebook工作，他是第一个通过卷积神经网络在MNIST数据集上解决手写数字问题的人。
05-14 12:45
2024浏览
17点赞
BP(back propagation)神经网络
BP神经网络是一种多层的前馈神经网络，其主要的特点是：信号是前向传播的，而误差是反向传播的。具体来说，对于如下的只含一个隐层的神经网络模型：
05-14 12:23
条内容