[发明专利]神经网络的梯度方向数据分割

说明书

系统和方法通过分割训练数据来改善已经收敛的网络的性能，使得网络的梯度和所有偏导数为零(或接近零)，使得在分割的训练数据的每个子集上，一些节点或弧(即节点和网络的先前层或后续层之间的连接)具有在分割的数据子集上不同于零的单独偏导数值，尽管它们在整个训练数据集上的偏导数平均值接近零。本系统和方法可以通过分割从零发散的候选节点或弧来创建新的网络，并且然后利用在相应的数据集群上训练的每一个选择的节点来训练结果网络。

优先权声明

本PCT申请要求2017年6月8日提交的名称为“Data and Node Splitting byGradient Direction”的美国临时专利申请(序列号62/516,785)的优先权，同一发明人如上所述，并且其通过引用全文并入本文。

背景技术

机器学习是一个由计算机实现的自学习算法的过程，其可以通过从样本数据输入建立模型来对数据进行预测。存在许多种类型的机器学习系统，例如，人工神经网络(ANN)、决策树、支持向量机(SVM)以及其他类型。这些系统在利用新数据做出有意义的预测之前首先需要根据一些采样输入受到训练。例如，ANN通常由多层神经元组成。每个神经元与许多其他神经元相连接，并且链路可以增强或抑制它们对相连接的神经元的激活状态的影响。每个单独的神经元单元可以具有将其所有输入的值合并在一起的集成函数。可以存在对每个连接和对神经元自身的阈值函数或者极限函数，使得信号在传播到其他神经元之前必须超越极限。用于输入到节点的每个相应输入的权重可以通过误差成本函数的偏导数的反向传播受到训练，同时估计值在训练数据样本上累积。大型复杂ANN可以在节点之间具有数百万的连接，并且需要学习针对每个连接的权重。

在训练数据上训练ANN，直到它们收敛到误差成本函数的最小值。一旦ANN被训练成收敛，目前就没有不改变网络结构就能进一步改善网络性能的技术。此外，没有系统的方式来改变网络以改善性能。这可能是有问题的，因为人们一直希望ANN更有效率地运行，特别是当它们变得更大、更复杂时。

发明内容

在一个总体方面，本发明涉及一种计算机实现的系统和方法，用于改善已经收敛的网络的性能，使得网络的梯度和所有偏导数为零(或接近零)。在一个实施例中，该方法包括基于梯度方向的相似性，将网络的训练数据分割成N组训练数据，其中N>1。然后，训练(或重新训练)神经网络，其中在N组训练数据中的相应一组上训练神经网络的N个子网络部分中的每个子网络部分。可以分割训练数据，使得在分割的训练数据的每个子集上，一些节点或弧(即，节点和网络的先前层或后续层之间的连接)具有在数据的分割的子集上不同于零的单独偏导数值，尽管它们在整个训练数据集上的平均偏导数接近零。在本发明的特定实施例中，通过分割神经网络中从零发散的一个或多个候选节点或弧，并且然后用在相应的数据组(或集群)上训练的每个所选择的节点来训练所得网络，以创建新的、改善的网络。

因为分割的每个节点或弧的梯度方向不同，所以新网络中的节点及其弧将训练成不同。因此，新网络不是在固定点上，即不是在最小值上。当新网络从与先前训练的最小值相匹配的初始点开始训练时，其可以导致误差成本函数的降低，从而改善网络的性能。通过梯度相似性分割数据至关重要。因为梯度将仍然接近零，所以节点分割本身就没有那么有效。

从下面的描述中，本发明实施例的这些和其他益处将是显而易见的。

附图说明

本文结合以下附图通过示例描述了本发明的各种实施例，其中：

图1是示出根据本公开的一个或多个方面，根据梯度的方向分割用于训练具有分割组件的网络的数据的过程的逻辑流程图；

图2是示出根据本公开的一个或多个方面的用于评估候选用于分割的系统的框图；

图3是示出根据本公开的一个或多个方面，根据图1的过程和图2的框图的已经被分割的系统的框图；