[发明专利]神经网络节点的自增减方法、计算机设备及存储介质

摘要

本发明公开了一种神经网络节点的自增减方法、计算机设备及存储介质，所述方法为根据需求设计的神经网络结构，并使用数据对神经网络模型进行训练，使神经网络模型收敛或者神经网络的迭代次数超过一定的阈值；并逐层的神经元进行增减操作处理，本发明通过自动增减神经网络节点，一方面提高神经元的学习能力，另一方面减少神经元的无用计算量。

主权项

1.一种神经网络节点的自增减方法，其特征在于，应用于神经网络训练，所述神经网络节点的自增减方法包括如下步骤：步骤一，根据需求设计神经网络结构，并使用数据对神经网络模型进行训练，使神经网络模型收敛或者神经网络的迭代次数超过一定的阈值；步骤二，逐层的神经元进行增减操作处理，将当前的神经网络模型标记为Mo；判断当前层是否存在可减去的神经元，若当前层存在可减去的神经元，则进入步骤三，否则，进入步骤五；步骤三，将当前层的神经元进行减操作处理，并将减操作处理后的神经网络模型标记为Mnew；步骤四，进行迭代训练，当神经网络模型Mnew收敛或一定迭代后神经网络模型Mnew的损失函数值与减操作处理前的神经网络模型Mo的损失函数值的误差比小于第一设定值a1，则将神经网络模型设为神经网络模型Mnew，返回步骤二；否则，将神经网络模型还原为神经网络模型Mo，并进入步骤五；步骤五，将当前层的神经元进行增操作处理，并将增操作处理后的神经网络模型标记为Mnew，在当前层增添一个神经元，并随机进行初始化，所述当前层为第i层，该增添的神经元为第i层第j个神经元，标记为Xij，进入步骤六；步骤六，使用数据仅对新增的神经元Xij的输入权重向量Winij和输出权重向量Winoutij进行迭代更新，一定迭代次数或收敛后，再将该增操作处理后的神经网络模型Mnew进行迭代训练；训练完毕后比较神经网络模型Mnew的损失函数值与增操作处理前的神经网络模型Mo的损失函数值的误差比小于第二设定值a2，则接受神经网络模型Mnew，并返回步骤五，否则返回步骤二进入下一层神经元的增减操作处理，直至所有的神经元层处理完后结束。