[发明专利]具有学习和表达能力的神经网络

说明书

本申请是基于申请号为200480017847.5、申请日为2004年6月21 日、题为“具有学习和表达能力的神经网络”的发明专利申请提出的分案 申请。

技术领域

本发明涉及神经网络，具体且不排他地说，本发明涉及基于一个或多 个下述特性的神经网络，所述特性包括时间、空间、强度、数量，以及相 对位置；并且可用于学习、知识获取、发现、数据挖掘和表达中的一种或 多种。

背景技术

现有的神经网络通常基于海布学习法(Hebbian learning)的单个解 释。海布概念这一基础常常被表述为“连在一起的神经元一起触发 (fire)”。实际的解释是“连在一起”是由将两神经元连接在一起的突触 实现的。起连接作用的突触的强度被修改或加权，以反映突触前神经元与 突触后神经元(或反之亦然)同时触发的重要性/概率。

使用该概念，已发展出了将若干输入神经元通过突触关联到若干输出 神经元的神经网络。输入神经元限定输入状态；而输出神经元限定期望输 出。

因此几乎全部现有的神经网络都基于三层的概念：输入神经元层、隐 藏神经元层，以及输出神经元层。图1和图2是现有神经网络的图示。

对这类神经网络的训练在其最基本形式中是通过施加特定输入状态到 所有输入神经元、选择特定输出神经元来表示特定输入状态，并调整隐藏 层中突触强度或权重。就是说，训练是在假定已知期望输出的知识下进行 的。在训练完成之后，施加不同输入状态将引起不同的输出神经元以不同 水平的置信度被激活。因此输入事件的识别取决于原始训练状态与当前输 入状态的匹配有多接近。

取决于期望输出神经元的数目和期望结果的准确度，这类神经网络通 常需要数以百千计的不同输入状态来进行广泛、重复的训练。这产生仅有 10,000个输入和输出神经元数量级的实用网络，该网络具有多达一千万个 互联的突触或表示突触的权重(当前存在的神经网络较之具有10¹²个神经 元和10¹⁶个突触连接的人脑在大小上还是很小的)。

此外，现有网络是基于生成预定义输出神经元来训练的，并且以后可 以识别与用于输入的训练集非常类似的输入。现有的神经网络不能够独立 学习，因为训练它们使用了在先假定-期望目标是由输出神经元表示的。 现有神经网络不能够根据输出层中的任何输出神经元的激励来表达和回忆 输入状态。

现有的神经网络是基于施加独立输入状态到网络来训练的，其中训练 的顺序通常不重要。当广泛、深入的训练完成后，输出神经元不再显著依 赖输入状态被施加到网络的顺序。现有的神经网络提供的是完全基于当前 输入状态的输出。输入状态施加的顺序与网络识别它们的能力无关。

现有神经网络可能具有下列缺点的一些或全部：

1.它们需要基于预定或期望的输出目标先训练，-它们不学习；

2.它们仅能识别与所受训练的输入状态相似的输入状态(对象)；

3.它们计算量非常大，因此很慢；

4.它们在计算上受限于表示仅仅相当小数目的神经元；

5.如果要它们识别不同的对象，则它们需要重新训练；

6.它们不能通过施加激励到输出神经元来表达或回忆输入对象；

7.它们基于全部输入神经元的并发激励；

8.它们不具创造性，并且不能表达或回忆事件；

9.它们仅能标识/识别它们所针对训练的事件；

10.它们假定并发或快速连续触发的神经元被突触链接，但是不区分彼 此或神经元触发的顺序；以及

11.每个隐藏层神经元可并发接收来自多个输入神经元的输入。

发明内容

根据一个方面，提供了包括多个神经元的神经网络，其中，所述多个 神经元中的任何一个神经元都能够通过到所述多个神经元中的又一个神经 元的活动连接来关联、或者与自身关联、或者与所述多个神经元中的任何 其他神经元关联。这个过程被称作学习。

根据第二方面，提供了包括多个基本神经元和多个结构神经元的神经 网络，所述多个结构神经元表示任意神经元对之间的关联，所述神经元对 是从下述组中选出的，所述组包括：两个基本神经元、两个结构神经元、 一个结构神经元和一个基本神经元、以及一个基本神经元和一个结构神经 元。