[发明专利]用于生成不动点神经网络的方法和装置

权利要求书

1.一种生成神经网络系统的不动点神经网络的方法，所述方法包括：

选择神经网络的至少一个层作为对象层，其中所述神经网络包括多个层，所述多个层中的每一个层与多个量化参数中的相应的一个量化参数相对应；

形成候选参数集，所述候选参数集包括关于与所述对象层相对应的多个量化参数的量化参数的候选参数值；

基于所述神经网络的网络性能水平从所述候选参数值当中确定更新参数值，其中所述网络性能水平中的每一个网络性能水平与所述候选参数值中的相应的一个候选参数值相对应；以及

基于所述更新参数值更新关于所述对象层的量化参数。

2.根据权利要求1所述的方法，其中，所述候选参数集的形成包括基于被设置为关于所述对象层的量化参数的参数值经由算术运算生成所述候选参数值。

3.根据权利要求1所述的方法，其中，所述选择包括选择所述多个层的最后一层作为所述对象层。

4.根据权利要求1所述的方法，其中，确定所述更新参数值包括：

导出所述神经网络的网络性能水平，所述网络性能水平中的每一个网络性能水平与所述候选参数值中的相应的一个候选参数值相对应；

比较所述网络性能水平；以及

从与最高网络性能水平相对应的候选参数值当中选择候选参数值作为所述更新参数值。

5.根据权利要求4所述的方法，其中，导出所述神经网络的网络性能水平包括通过将预设量化参数值应用于所述多个层的除了所述对象层之外的层，并且应用所述候选参数值中的一个候选参数值作为所述对象层的量化参数，来导出关于所述候选参数值中的一个候选参数值的网络性能水平。

其中，基于所述候选参数值中的每一个候选参数值导出关于所述候选参数值中的一个候选参数值的网络性能水平。

6.根据权利要求5所述的方法，其中，所述导出关于所述候选参数值中的一个候选参数值的网络性能水平包括：

基于第一参考来计算第一性能水平；

基于第二参考来计算第二性能水平；以及

通过基于被设置为关于第一性能水平的第一权重和被设置为关于第二性能水平的第二权重来执行加权求和运算来导出所述网络性能水平。

7.根据权利要求5所述的方法，其中，所述神经网络的网络性能水平包括所述神经网络的准确度。

8.根据权利要求1所述的方法，其中，所述量化参数包括分数长度。

9.根据权利要求1所述的方法，还包括：

在关于所述对象层的量化参数的更新之后，确定是否满足结束所述量化参数的更新的条件；以及

改变对象层，形成关于被改变的对象层的候选参数集，确定所述更新参数值，并且基于不满足结束所述量化参数的更新的条件来更新所述量化参数。

10.根据权利要求9所述的方法，其中，结束所述量化参数的更新的条件包括以下至少之一：在其上执行所述量化参数的更新的对象层的数量或者所述多个量化参数的值被改变所关于的对象层的数量是否等于或大于预设值，以及基于所述更新参数值的网络性能水平是否等于或高于参考值。

11.根据权利要求9所述的方法，还包括：基于不满足结束所述量化参数的更新的条件，通过将所述对象层的前一层设置为所述对象层来改变所述对象层。

12.根据权利要求1所述的方法，还包括：基于关于浮点神经网络的量化误差，通过设置关于所述多个层中的每一个层的量化参数来生成所述神经网络。