[发明专利]神经网络节点的自增减方法、计算机设备及存储介质

权利要求书

1.一种计算机设备，所述计算机设备包括至少一个处理器、与所述至少一个处理器通信连接的存储器，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行神经网络节点的自增减方法，其特征在于，应用于神经网络训练，所述神经网络节点的自增减方法包括如下步骤：

步骤一，根据需求设计神经网络结构，并使用数据对神经网络模型进行训练，使神经网络模型收敛或者神经网络的迭代次数超过设定的阈值；

步骤二，逐层的神经元进行增减操作处理，将当前的神经网络模型标记为Mo；

判断当前层是否存在可减去的神经元，若当前层存在可减去的神经元，则进入步骤三，否则，进入步骤五；

步骤三，将当前层的神经元进行减操作处理，并将减操作处理后的神经网络模型标记为Mnew；

步骤四，进行迭代训练，当神经网络模型Mnew收敛或设定次数的迭代后神经网络模型Mnew的损失函数值与减操作处理前的神经网络模型Mo的损失函数值的误差比小于第一设定值a1，则将神经网络模型设为神经网络模型Mnew，返回步骤二；否则，将神经网络模型还原为神经网络模型Mo，并进入步骤五；

步骤五，将当前层的神经元进行增操作处理，并将增操作处理后的神经网络模型标记为Mnew，在当前层增添一个神经元，并随机进行初始化，所述当前层为第i层，该增添的神经元为第i层第j个神经元，标记为神经元Xij，进入步骤六；

步骤六，使用数据仅对新增的神经元Xij的输入权重向量Winij和输出权重向量Winoutij进行迭代更新，设定的迭代次数或收敛后，再将该增操作处理后的神经网络模型Mnew进行迭代训练；训练完毕后比较神经网络模型Mnew的损失函数值与增操作处理前的神经网络模型Mo的损失函数值的误差比小于第二设定值a2，则接受神经网络模型Mnew，并返回步骤五，否则返回步骤二进入下一层神经元的增减操作处理，直至所有的神经元层处理完后结束。

2.根据权利要求1所述的计算机设备，其特征在于，

所述神经网络节点的自增减方法中，判断当前层是否存在可减去的神经元具体为：

当前层为第i层，当前节点为第i层第j个节点，记为神经元Xij，判断是否小于设定阈值，若小于设定阈值，则神经元Xij可删去，其中输入权重向量为Winij＝{Winij1,Winij2...Winijn,bij}，输出权重向量为Woutij＝{Woutij1,Woutij2...Woutijm}，bij为偏置值，t为输入特征的数量，p为输出特征的数量。

3.根据权利要求2所述的计算机设备，其特征在于，

将当前层的神经元进行减操作处理，具体为将该神经元Xij删除。

4.根据权利要求1所述的计算机设备，其特征在于，

所述神经网络节点的自增减方法中，判断当前层是否存在可减去的神经元具体为：

设当前层为第i层，下一层为第(i+1)层，其中，j≠j’，

取第i层的第j个神经元Xij和第i层的第j’的神经元Xij’，

当且仅当神经元Xij和神经元Xij’所连接的第(i+1)层神经元相同时进行比较，θ代表了两个输入权重的夹角，当θ小于设定的threshold(Ф)时，判断当前层存在可减去节点；

其中，Ф为设定值；神经元Xij的输入权重向量为Winij＝{Winij1,Winij2...Winijn,bij}，神经元Xij的输出权重向量为Woutij＝{Woutij1,Woutij2...Woutijm}，bij为偏置值；

神经元Xij’的输入权重向量为Winij’＝{Winij’1,Winij’2...Winij’n,bij’}，神经元Xij’的输出权重向量为Woutij’＝{Woutij’1,Woutij’2...Woutij’m}，bij’为偏置值。