[发明专利]神经网络训练方法、系统、设备、存储介质及程序产品

权利要求书

1.一种神经网络训练方法，其特征在于，所述神经网络中的一个或多个参数为二值参数，所述方法包括以下步骤：

利用优化器对所述二值参数进行优化，其中，所述优化器的输出包括翻转或不翻转，所述翻转表示改变所述二值参数的取值，所述不翻转表示不改变所述二值参数的取值。

2.根据权利要求1所述的神经网络训练方法，其特征在于，所述利用优化器对所述二值参数进行优化包括：

对于预先设置的损失函数，选取使得所述损失函数最小化的二值参数。

3.根据权利要求2所述的神经网络训练方法，其特征在于，所述利用优化器对所述二值参数进行优化进一步包括：

利用循环神经网络作为优化器对所述二值参数进行优化，其中，所述循环神经网络的输出包括所述翻转或所述不翻转，用以利用所述循环神经网络的输出来更新所述二值参数。

4.根据权利要求3所述的神经网络训练方法，其特征在于，所述利用循环神经网络作为优化器对所述二值参数进行优化包括：

对于根据二值网络的输入而得到的浮点形式的第一梯度，将所述第一梯度输入循环神经网络以得到第二梯度；其中，所述第二梯度包括所述翻转或不翻转。

5.根据权利要求4所述的神经网络训练方法，其特征在于，所述利用所述循环神经网络的输出来更新所述二值参数包括：

取所述循环神经网络的输出的符号，然后与待优化的所述二值参数相乘，以得到优化后的所述二值参数。

6.根据权利要求3到5中任意一项所述的神经网络训练方法，其特征在于，所述循环神经网络为长短期记忆网络。

7.根据权利要求2所述的神经网络训练方法，其特征在于，所述利用优化器对所述二值参数进行优化进一步包括：

对于n个所述二值参数，从所述n个二值参数的全部的2ⁿ组可行取值中、或从所述n个二值参数的一部分可行取值中，利用所述翻转或不翻转来选取使得所述损失函数最小的取值，其中的n为正整数。

8.根据权利要求7所述的神经网络训练方法，其特征在于，所述从所述n个二值参数的一部分可行取值中，利用所述翻转或不翻转来选取使得所述损失函数最小的取值，包括：

按照预设的顺序规则，对所述二值参数进行翻转检测，直到对所有待优化的所述二值参数完成所述翻转检测；其中，所述翻转检测包括：对一个所述二值参数进行所述翻转、或者对多个所述二值参数中的一部分进行所述翻转，若使得所述损失函数减小，则所述二值参数采用本次翻转后的取值，否则所述二值参数采用本次翻转前的取值；然后对下一个或下一些所述二值参数进行所述翻转检测。

9.根据权利要求8所述的神经网络训练方法，其特征在于，所述按照预设的顺序规则，对所述二值参数进行翻转检测，包括：

对于属于所述神经网络中的多层结构的多个所述二值参数，在对同一层的所有待优化的所述二值参数进行所述翻转检测后，再对下一层的所述二值参数进行所述翻转检测。

10.一种神经网络训练系统，其特征在于，所述神经网络中的一个或多个参数为二值参数，所述系统包括：

优化器，用于对所述二值参数进行优化；其中，所述优化器的输出包括翻转或不翻转，所述翻转表示改变所述二值参数的取值，所述不翻转表示不改变所述二值参数的取值。

11.根据权利要求10所述的神经网络训练系统，其特征在于，所述系统还包括执行权利要求2到9中任一权利要求所述步骤的模块。

12.一种设备，包括：

存储器，用于存储非暂时性计算机可读指令；以及

处理器，用于运行所述计算机可读指令，使得所述计算机可读指令被所述处理器执行时实现权利要求1至9中任意一项所述的神经网络训练方法。