[发明专利]神经网络及其使用方法

说明书

本发明与转让给本发明的受让人的下述发明有关：

“人工神经及其使用方法”，与本发明同时申请，美国专利申请序号为No.08/076602。

为此，上述的有关发明的主题被并入到本发明的化开中作为参考。

本发明涉及人工神经网络，具体涉及能以VLSI（超大规模集成）芯片或计算机程序实现的神经网络，并且它利用一种无需重复训练的训练算法，和对每个给定的输入矢量组产生一个全局最小值。

人工神经网络在各种各样的计算机环境有多种例如，话音识别、过程控制、光学字符识别、信号处理和图像处理中得到应用。对于上述应用中的许多处理机器可通过神经网络来实现，该神经网络包括称为“神经电路”的许多基本逻辑单元。

正如上述相关发明中所描述的，常规神经电路的结构经常包括一个乘法器电路、一个求和电路、一个用于执行非线性函数（例如，一个二进制阈值或S形函数）的电路，或起着突触（synapses）或加权输入连接功能的电路。因为一个典型的常规神经电路需要所有上面描述的电路，能在半呆体芯片上生产的神经电路的数目受到严格地限制。

熟知的神经网络结构有20多种，其中最熟悉的是“反向传播”（back-propagation），“感知器”（perceptron），和“毫普费尔德网络”（Hopfield network）。

图1示出先有技术的反向传播神经网络。如图1所示，该反向传播网络典型地至少包括三层：一个“输入层”，一个“隐藏层”，和一个“输出层”。但是，如众所周知，可能需要多于三层的许多层来解决中间尺寸问题。

参见图1所示的具体反向传播神经网络，多个输入X₁-X_n的每一个输入耦合到输入层的各个输入节点（仅仅画出了其输入节点1，2和4）。例如，输入X₁耦合到输入节点1。

输入层中的每个输入节点1，2和4的输出耦合到隐藏层的每个神经电路（仅仅画出了其神经电路5，6和8）。例如，输入节点1的输出耦合到每个神经电路5，6，8和到隐藏层内的所有其它神经电路（未画出）。有关在输入层中输入节点2，4和所有其它输入节点（未画出）的输出进行相同的连接。

在隐藏层内的每个神经电路用给定的加权乘其从输入节点接收的输入，产生一个产物。例如，神经电路5用加权W₁₁，用加权W₂₁乘输入X₂，等等。

然后，每个神经电路把这些产物加在一起，产生一个“net”（净），它是通过非线性函数变换产生其相应的神经电路输出。

在输出层中神经电路10的工作类似于隐藏层的神经电路的工作。到达神经电路10的输入是隐支神经电路的输出，和加权是K₁，K₂和K_N。然后它以反向方式调整隐藏层的加权W₁₁，W₂₁，…，W_n。

对于每个周期（信号出现时间），反向传播算法首先调整输出层的加权K₁，K₂和K_N。然后它以反向方式调整隐藏层的加权W₁₁，W₂₁，…，W_nN。

反向传播算法有几个严重的缺点。首先，对于相对复杂的问题训练网络是耗费时间的。例如，它可能用数周或甚至数用的计算时间，经常使用超型计算机来训练一个网络。在包括话音识别的熟知例子中，使用四个处理器的小型计算机需要几周来训练反向传播神经网络，以便简化识别发音和不发音的停止（即辅音B、D、G、P、T和K）。

其次，当加权集中时，它们通常集中到局部最小值，该值给出一个错误的解决。为了避免局部最小值，可应用如像波尔兹曼（Boltzman）训练或考西（Cauchy）训练之类的统计方法。这些方法首先随机地变化神经电路的加权，然后求出在希望的和实际的输出之间的误差。在多数情况下，减小误差的加权应被保留。但是，在一些情况下，如果按着给定概率要求的话，不减小误差的加权也被保持。

虽然统计方法能得到全局的最小值，但它是特别无效率的。例如，据报道它的集中速率比反向传播算法慢100倍。