421浏览
0点赞

循环神经网络(RNN)的原理及实现

在前馈神经网络中,信息的传递是单向的,这种限制虽然使得网络变得更容易学习,但在一定程度上也减弱了神经网络模型的能力。在生物神经网络中,神经元之间的连接关系要复杂的多。前馈神经网络可以看着是一个复杂的函数,每次输入都是独立的,即网络的输出只依赖于当前的
365浏览
0点赞

神经网络和深度学习: 一 使用神经网络识别手写数字

前言:这一系列主要翻译自neural networks and deep learning 这本电子书,之所以决定翻译这本书,是因为我觉得这本书将视觉领域的深度学习的理论方面讲得非常透彻,也希望大家也可以从中学到很多。人类的视觉系统是
527浏览
0点赞

神经网络训练的一般步骤

Step1:随机初始化权重;Step2:实现前向传播算法,拿到各个输入的激活函数;Step3:编码计算代价函数;Step4:实现反向传播计算激活函数的偏导数。看一下伪代码:代码中的m是训练样本的个数。Step5:使用梯度检验验
498浏览
0点赞

生成对抗网结(Generative Adversarial Network, GAN)

生成对抗网结(Generative Adversarial Network, GAN): 由Goodfellow在2014年提出,其核心思想来自于博弈论的纳什均衡”。它包含两个网络模型:一个生成模型和一个判别模型。生成模型捕捉样本数据的分布,判别模型是
391浏览
0点赞

深度信念网结(Deep Belief Nets, DBN)

深度信念网结(Deep Belief Nets, DBN): 或称深度置信网络,神经网络的一种,由多个受限玻尔兹曼机组成。既可以用于非监督学习,类似于一个自编码器,也可以用于监督学习,类似于一个分类器。从非监督学习来讲,其目
405浏览
0点赞

自动编码器(AutoEncoder)

自动编码器(AutoEncoder):是人工神经网络的一种,主要用来处理数据的压缩,其数据的压缩和解压缩函数是数据相关的、有损的、从样本中自动学习的。原理为训练神经网络,通过捕捉可以代表输入信息的最关键的因素,让
812浏览
1点赞

长短期记忆网络(Long Short-Term Memory, LSTM)

长短期记忆网络(Long Short-Term Memory, LSTM):是一种时间递归神经网络,适合用于处理和预测时间序列中间隔和延迟较长的重要事件。基于LSTM的系统可以学习翻译语言、控制机器人、图像分析、文档摘要、语音识别、
465浏览
0点赞

递归神经网络(Recurrent Neural Network, RNN)

前馈神经网络只能单独处理一个的输入,不同的输入之间被认为是相互独立没有联系的,但实际上很多时候输入之间是有序列关系的,需要使用递归神经网络(Recurrent Neural Network, RNN), 也称循环神经网络,其引入了
436浏览
0点赞

卷积神经网络(CNN)

卷积神经网络(CNN): 由Yann LeCun提出并应用在手写字体(MINST)识别上,其实质是一种多层前馈网络,擅长处理图像特别是大图像的处理和识别。
436浏览
0点赞

深度神经网络(DNN)

深度神经网络(DNN):使用统计学方法从原始感官数据中提取高层特征,在大量的数据中获得输入空间的有效表征。 简单理解,深度神经网络就是有多个隐藏层的多层感知器网络,根据实际应用情况不同,其形态和大小也都不
508浏览
0点赞

径向基函数神经网络(Radical Basis Function Neural Network, RBF NN)

径向基函数神经网络(Radical Basis Function Neural Network, RBF NN): 1988 年由 John Moody和Christian J Darken提出了一种网络结构,属于前向型神经网络,理论上可以任意精度逼近任意连续函数,适合解决分类问题
440浏览
0点赞

受限玻尔兹曼机(Restricted Boltzmann Machine, RBM)

受限玻尔兹曼机(Restricted Boltzmann Machine, RBM),是一种简化的特殊的玻尔兹曼机,1986年由Paul Smolensky提出。和BM相比,其隐藏层中的节点之间没有互相连接,其可见节点间也没有连接,因此其计算相对更简单
551浏览
1点赞

玻尔兹曼机(Bolzmann Machine, BM)

玻尔兹曼机(Bolzmann Machine, BM):也称 Stochastic Hopfield Network with Hidden Units,是一种随机递归神经网络,可以看做是一种随机生成的Hopfield网络。1983年-1986年,由Hinton和Sejnowski提出,该神经网络
484浏览
1点赞

自适应共振理论(Adaptive Resource Theory,ART)

自适应共振理论(Adaptive Resource Theory,ART),1976年由美国波士顿大学学者G.A.Carpenter提出,试图为人类的心理和认证活动建立统一的数学理论。随后又和S.Grossberg提出了ART网络。ART网络由两层组成两个子系
538浏览
0点赞

对偶传播神经网络(Counter-Propagation Network, CPN)

对偶传播神经网络(Counter-Propagation Network, CPN) , 1987年甶美国学者Robert Hecht-Nielsen提出,最早用来实现样本选择匹配系统,能存储二进制或模拟值的模式对,可用于联想存储、模式分类、函数通近、统计分
418浏览
0点赞

学习向量量化神经网络(Learning Vector Quantization, LVQ)

学习向量量化神经网络(Learning Vector Quantization, LVQ):在竞争网络的基础上,由Kohonen提出,其核心为将竞争学习与有监督学习相结合,学习过程中通过教师信号对输入样本的分配类别进行规定,克服了自组织网络
431浏览
0点赞

竞争学习(Competition Learning)

竞争学习(Competition Learning) 是人工神经网络的一种学习方式,指网络单元群体中所有单元相互竞争对外界刺激模式响应的权利,竞争取胜的单元的连接权重向着对这一刺激有利的方向变化,相对来说竞争取胜的单元抑
548浏览
0点赞

自组织神经网络(Self Organization Neural Network, SONN)

自组织神经网络(Self Organization Neural Network, SONN),又称自组织竞争神经网络,通过自动寻找样本中的内在规律和本质属性,自组织、自适应地改变网络参数与结构。通常通过竞争学习(Competitive Learning)实
376浏览
0点赞

自适应线性单元(Adaptive Linear Neuron, ADALINE)

1962年,斯坦福大学教授Widrow提出一种自适应可调的神经网络,其基本构成单元称为自适应线性单元(Adaptive Linear Neuron, ADALINE),其主要作用是线性逼近一个函数式而进行模式联想。该模型是最早用于实际工程解
495浏览
1点赞

反馈神经网络(FeedBack NN )

反馈神经网络(FeedBack NN ):又称递归网络、回归网络,是一种将输出经过一步时移再接入到输入层的神经网络系统。这类网络中,神经元可以互连,有些神经元的输出会被反馈至同层甚至前层的神经元。常见的有Hopfield神
相关搜索
今日排行
本周排行
本月排行
免费注册体验
联系我们