[发明专利]神经网络节点的自增减方法、计算机设备及存储介质

说明书

本发明公开了一种神经网络节点的自增减方法、计算机设备及存储介质，所述方法为根据需求设计的神经网络结构，并使用数据对神经网络模型进行训练，使神经网络模型收敛或者神经网络的迭代次数超过一定的阈值；并逐层的神经元进行增减操作处理，本发明通过自动增减神经网络节点，一方面提高神经元的学习能力，另一方面减少神经元的无用计算量。

技术领域

本发明涉及神经网络领域，具体涉及一种神经网络节点的自增减方法、计算机设备及存储介质。

背景技术

神经网络(Neural Networks，简写为NNs)或称作连接模型(Connection Model)，它是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。这种网络依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的。

神经网络由许多神经元组成，每个神经元也称为单元或者节点，神经元连接在一起形成网络。通常，神经元形成多层，分成三种类型的层，输入层、隐层和输出层，其中，第一层为输入层，第一层可包含一个或多个神经元；输出层可包含一个或多个神经元；隐层可以为一层或多层。每一层的神经元将把它们的输出馈送入下一隐层中神经元的输入。

当神经网络的训练集确定之后，输入层结点数和输出层结点数随之而确定，首先遇到的一个十分重要而又困难的问题是如何优化隐层的结点数。实验表明，一旦神经网络的隐层结点数过少，网络不能具有必要的学习能力和信息处理能力。反之，若神经网络的隐层节点数的过多，不仅会大大增加网络结构的复杂性(这一点对硬件实现的网络尤其重要)，神经网络在学习过程中更易陷入局部极小点，而且会使神经网络的学习速度变得很慢。隐层的结点数的选择问题一直受到高度重视。

发明内容

本发明的目的在于克服现有的技术问题，提出一种神经网络节点的自增减方法、计算机设备及其存储介质，以提高神经元的学习能力，减少神经元的无用计算量。

为达成上述目的，本发明提供了一种神经网络节点的自增减方法，应用于神经网络训练，所述神经网络节点的自增减方法包括如下步骤：

步骤一，根据需求设计神经网络结构，并使用数据对神经网络模型进行训练，使神经网络模型收敛或者神经网络的迭代次数超过设定的阈值；

步骤二，逐层的神经元进行增减操作处理，将当前的神经网络模型标记为Mo；

判断当前层是否存在可减去的神经元，若当前层存在可减去的神经元，则进入步骤三，否则，进入步骤五；

步骤三，将当前层的神经元进行减操作处理，并将减操作处理后的神经网络模型标记为Mnew；

步骤四，进行迭代训练，当神经网络模型Mnew收敛或设定的迭代次数后神经网络模型 Mnew的损失函数值与减操作处理前的神经网络模型Mo的损失函数值的误差比小于第一设定值，则将神经网络模型设为神经网络模型Mnew，返回步骤二；否则，将神经网络模型还原为神经网络模型Mo，并进入步骤五；

在步骤四中，当神经网络模型Mnew收敛或设定的迭代次数后神经网络模型Mnew的损失函数值与减操作处理前的神经网络模型Mo的损失函数值的误差比小于第一设定值，则将神经网络模型设为神经网络模型Mnew，设神经网络模型Mnew的损失值为Lossnew，神经网络模型Mo的损失值为Losso，第一设定值a1，当(Lossnew-Losso)/Lossoa1时，接受神经网络模型Mnew，当(Lossnew-Losso)/Losso≥a1时，将神经网络模型还原为神经网络模型Mo；

步骤五，将当前层的神经元进行增操作处理，并将增操作处理后的神经网络模型标记为Mnew，在当前层增添一个神经元，并随机进行初始化，所述当前层为第i层，该增添的神经元为第i层第j个神经元，标记为神经元Xij，进入步骤六；