小小程序员
2021-05-15 23:43:06
霍普菲尔德网络（Hopfield Networks）
非线性循环网络有很多种表现方式，较难分析：能达到稳定、震荡或馄饨状态这三种表现形式。Hopfield网络是由有循环连接的二进制阈值单元组成。1982年，约翰·霍普菲尔德发现，如果连接对称，则存在一个全局能量函数，整个网络的每个二进制“结构”都有能量，而二进制阈值决策规则使网络为能量函数设置一个最小值。使用这种计算类型最简单的方法是将记忆作为神经网络的能量最小值。使用能量最小值表示记忆给出了一个内容可寻内存，可通过了解局部内容来访问整个项目。
每记忆一次配置，都希望能产生一个能量最小值。但若有两个最小值就会限制Hopfield网络容量。伊丽莎白·加德纳发现有一个更好的存储规则，它使用了所有的权重。而不是试图一次存储多个矢量，她通过训练集进行多次循环，并用感知器收敛程序训练每个单元，使该矢量的所有其它单元具有正确的状态。
条内容