[发明专利]改进的模拟数字神经元、神经网络及网络调试算法

说明书

本发明是关于所谓的模拟神经网络，较具体点说是有关提供一种新的数字神经元、一种简化的神经网络结构和增强的神经网络调试算法（training    algorithm）。

模拟神经网络对人类大脑中神经细胞（元）的活动进行仿真。人类的神经元由三个主要部分组成：细胞体，轴突（及其节状隆起），和树突。（神经细胞的）树突从其他神经元接收输入信号脉冲，并将这些脉冲传送到细胞体。细胞体对由各种不同树突接收到的所有信号加以“评估”。这些信号中一些为积极性的信号，亦就是说它们激励细胞体;而其他一些则为消极性的信号，也就是说它们阻止对细胞体的激励。当细胞体受激励的程度超过某一预定的阈值时，它即产生自身的电信号脉冲，并将它们沿着细胞的轴突传送至节状隆起，这些隆起或者与其树突相连，或者与其它神经元的细胞体相连。

现有的模拟神经网络中的模拟神经元被设计得模仿人类神经细胞的行为。每一模拟神经元均具有类似存在于人类神经细胞中的功能。此过程由一输入值开始。这一输入可能来自外界（如一键盘输入），或者来自其他的神经元。当每一个输入沿着其树突传输时，它被乘以一“加权值”，例如+100%，+80%，或-90%。这些所谓的突触加权值是人类神经电脉冲对神经细胞体激励而产生的积极或消极作用的一个近似的数学等价量。在所有输入信号到达细胞体后，即按照它们的加权值对它们求和，而产生最终结果净值。这一值有可能需要在一个或多个附加的求和步骤中被细胞体加以修正。

一神经网络通常包括三层模拟神经元：输入层，“隐藏”层和输出层。输入神经元的数目根据输入数据的特征和数目决定。输出神经元的数目以同样方式决定。例如，如果有三个是/否问题，对它们的回答将导致三种结果之一，那么就会有三个输入神经元（每一问题一个）和三个输出神经元（每一可能的结果一个）。

这些加权值是网络借以将输入值与正确输出相关连的手段。在现有的神经网络中，系统自己利用一调试算法指定和调整加权值，以便正确地建立输入和输出间的关系。

在调试开始前，由输入层至隐藏层以及由隐藏层至输出层的加权值可以随意设定。经验表明，如果最初的加权值是随机的而且非零值的话，网络就能较好地学习。在调试期间，一组具有已知输出的输入被馈入网络。如果该系统不产生预期的输出，就穿过整个系统“反向传播”一差错纠正过程，并按照预定的公式来对所有输入/隐藏和隐藏/输出加权值进行校正。

在具体实践中，在对输出进行评价而后返回纠错之前，调试过程并不输入整套调试模式。而是一次输入一个事件，并对一事件的输出进行检验。如果得到不正确的输出，即对加权值进行校正。

调试一神经网络可能需要数百数千个事件。如果系统设计得不好或者调试事件不正确，很可能这一网络将根本不能学习。因此，程序员在选择恰当的输入和输出神经元的数目和类型方面的技巧和调试人员在为调试网络选择合适的输入因子和数据方面的技巧，就成为系统能成功地运行的关键。

在网络调试中对加权值重复使用算法，使得人们难以解释加权值的相互作用。这样，神经网络就学习只有它能解释的词句来表达信息。其设计者运用智力创造性来建立结构和使学习得以进行的规则，并提供用于调试的事件，但这样做基本上看不到运行的具体细节，只能成为一个单纯的观察者。调试一神经网络的技巧就在于选择数据表达方式（即输入、隐藏和输出神经元的数目和类型）和选择调试用事件。

本发明的目的是提供能应用集成电路技术制造的数字神经元，用于组成神经网络的结构单元。

本发明的另一目的是将许多数字神经元集成为一神经网络芯片，它可以与另外一些神经网络芯片相互连接来构成充分大规模的神经网络。

本发明还有一个目的是建立一个神经网络调试算法，这个算法将模式映射到神经元组，使得在当输入模式的基本部分被加到网络输入端时输出神经元将激活，而且该调试模式因无需作重复处理较之现有网络操作次数大为减少。

按照本发明，提供了一种用于神经网络中的n输入通路数字神经元，此数字神经元包括一具有2n存贮单元的随机存取存贮器，其中每一存贮单元相应于一n端输入编码模式，每一存贮单元用对应于突触加权值的神经元激活状态来加以编程，这个突触加权值是神经网络调试算法针对一神经网络中的神经元而分配到该输入编码模式的;此神经元起一查表装置的作用，它从被一n位数字输入编码模式所寻址的该随机存取存贮器的存贮单元来为被加到该神经元输入通路的每一个n位数字编码模式取得神经元激活状态。