[发明专利]一种可扩展的自适应宽度神经网络学习方法

说明书

本发明属于人工智能技术领域，公开了一种可扩展的自适应宽度神经网络学习方法，可用于图像分类任务。它由多个多通道宽RBF神经网络(MWRBF)组成，每个MWRBF神经网络可以把重点放在不同的数据上，并且使用高斯核执行非线性变换。可扩展的自适应宽度神经网络中的MWRBF网络数量由学习任务自身的规模和难度决定。该网络采用了可分离的迭代最小二乘训练方法，从而可以高效地处理高维和大量样本的数据；本发明的可扩展的自适应宽度神经网络具有可以进行并行测试的特点。

技术领域

本发明涉及人工智能和机器学习技术领域，具体涉及一种可扩展的自适应宽度神经网络学习方法。

背景技术

深度卷积神经网络在图像、视频和语音任务方面表现出色，但其他学习模型，例如支持向量机、随机森林等的应用仍然发挥着重要作用。对于复杂的学习任务，学习模型层数多且具有大量参数，使其具有良好的性能和通用性。但是，深度学习模型由于高度非凸的行为，很难描述其中间的工作原理，而且具有参数量大，训练时间长的特点。

对于现有深度学习模型，神经网络训练好以后，如果输入数据中含有没有训练过的新数据，其很难做出正确的判断；或者又要对所有数据重新进行学习，使其无法快速有效的进行学习。

增量学习能力作为学习模型的一个重要特征可以克服灾难性遗忘。通常，学习模型好的设计目标包括：(1)高效，快速地学习和测试，其中意味着可以用更少的数量来优化架构参数，可以减少和加快训练时间，测试过程可以并行进行；(2)稳健的泛化能力，这意味着学习模型具有良好的测试以前看不见的数据的性能；(3)通过增量学习来克服灾难性的遗忘，其意味着它在学习新知识的同时不会忘记学到的知识(可以终身学习)。

发明内容

针对现有技术存在的问题，本发明的目的在于提供一种可扩展的自适应宽度神经网络学习方法，能够处理高维图像或矢量输入样本，多通道宽度径向基函数网络(MWRBF)在宽度方向上对输入样本进行扩展，并对输出的多通道求和以减少数据，节省训练时间；对于较大和较高的高维数据集，该方法可以从数据组织到模型实施应用进行并行学习，大大提高高维数据的学习效率。

为了达到上述目的，本发明采用以下技术方案予以实现。

(一)一种可扩展的自适应宽度神经网络学习方法，所述自适应宽度神经网络包括P个MWRBF网络，对应对待学习数据集学习P次；

第一个MWRBF网络学习待学习数据集的标签，第二个MWRBF网络在相同的待学习数据集上学习第一个MWRBF网络的剩余误差，以此类推，直到第P个MWRBF网络在相同的待学习数据集上学习第(P-1)个MWRBF网络的剩余误差；在自适应宽度神经网络中，每个MWRBF网络分别对应不同的学习任务，不同MWRBF网络之间以级联方式组织学习过程。

进一步地，对于某一学习阶段的P个MWRBF网络h₁，h₂，...，h_P，下采样后到P个MWRBF网络的线性层的输出为Φ₁，Φ₂，...，Φ_P，设期望输出为数据集D，则自适应宽度神经网络的输出Y为：

Y＝ΦW＝[Φ₁，Φ₂，…，Φ_P]W＝Φ₁W₁+Φ₂W₂+…+Φ_PW_P；

其中，W＝[W₁，W₂，…，W_P]，为全连接层的权值矩阵。

进一步地，所述学习方法的具体过程为：设训练周期为N_c，将当前训练周期对应的剩余误差作为下一训练周期的初始期望输出，逐次减小训练的剩余误差；

对于每个训练周期，按以下步骤进行：