[发明专利]可编程离散霍普菲尔德网络电路

说明书

技术领域

本发明涉及集成电路和神经网络领域，特别涉及一种基于忆阻器和神经元场效应管(NEUMOS)的可编程离散霍普菲尔德网络电路。

背景技术

科学工作者根据神经网络运行过程中的信息流向，把神经网络分为前馈式和反馈式两种基本类型。前馈网络的输出仅由当前输入和权值矩阵决定，而与网络先前的输出状态无关。反馈式网络则相反，与网络的先前输出状态密切相关。

作为本申请的表述需求，先介绍一下霍普菲尔德神经网络方面的相关知识。神经网络的学习方式有三种类型。其中的第三类学习方式是“死记硬背”，即网络的权值不是经过反复学习获得，而是按一定规则计算出来。基于这一点，美国加州理工学院物理学家霍普菲尔德教授于1982年提出一种单层反馈神经网络，后来人们将这种反馈网络称作霍普菲尔德网络。霍普菲尔德网络采用了第三种学习方式，其权值一经确定就不再改变，而网络中各神经元的状态在运行过程中不断更新，网络演变到稳态时各神经元的状态便是问题之解。

进一步，霍普菲尔德网络又分为离散型和连续型两种网络模型，分别记作DHNN(Discrete霍普菲尔德Neural Network)和CHNN(Continues霍普菲尔德Neural Network)。本申请模拟实现的离散型反馈网络的拓扑结构如图1所示。这是一种单层全反馈网络，共有n个神经元。第i个神经元的输出P_i通过突触的连接权值W_ij，反馈至第j个神经元作为输入，i、j为正整数，可以取相同的数值。每个神经元都通过连接权值接收所有其它神经元输出反馈回来的信息，目的是为了让任何一神经元的输出都能受所有神经元输出的控制，从而使各神经元的输出能相互制约。每个神经元均设有一个阈值θ(每个神经元的阈值可以相等，可以不相等)。

运行时，当向该网络施加一个起原始推动作用的初始输入P_{1_init},P_{2_init},P_{3_init},…,P_{n_init}后，网络便将各个输出反馈回来作为下次的输入。如果某个时刻，第i个神经元满足以下条件：

∑＝W_i1*P₁+W_i2*P₂+W_i3*P₃+......+W_in*P_n>θ

则：该神经元对应的输出P_i将改变为1，反之P_i变为0。如此经若干次循环(迭代)之后，在网络结构满足一定条件的前提下，网络最终将会稳定在某一预先设定的稳定态。

利用霍普菲尔德网络的稳态便可实现联想记忆功能,在拓扑结构及权矩阵均一定的情况下，霍普菲尔德网络能存储若干个预先设置的稳定状态，而网络运行后达到哪个稳定状态将与其初始状态有关。若用网络的稳态代表一种记忆模式，初始状态朝着稳态收敛的过程便是神经网络寻找该记忆模式的过程。初态可视为该记忆模式的部分信息，网络演变的过程可视为从部分信息回忆起该记忆模式全部信息的过程，从而实现了联想记忆功能。

为了便于说明，我们以三个神经元组成的离散型霍普菲尔德网络为例子，见图2。第一个神经元三个突触权值(从左往右，W₁₁，W₂₁，W₃₁)分别设定为：{0 0.2 0.8}，第二个神经元三个突触权值(从左往右，W₁₂，W₂₂，W₃₂)分别为{0.2 0 0.4}，第三个神经元三个突触权值(从左往右，W₁₃，W₂₃，W₃₃)分别为：{0.8 0.4 0}。写成权值矩阵如下：