[发明专利]基于进化算法的神经网络模型压缩方法及装置

权利要求书

1.一种基于进化算法的神经网络模型压缩方法，其特征在于，包括：

随机生成各个网络层的权值精度和激活值精度，得到不同的量化策略；

根据所述权值精度和激活值精度计算不同量化策略的适应度；

根据所述适应度计算得到进化中的最优量化策略；

根据所述最优量化策略对神经网络的权值和激活值进行量化，实现神经网络模型压缩。

2.根据权利要求1所述的方法，其特征在于，所述随机生成各个网络层的权值精度和激活值精度，包括：

同一网络层的权值精度相同；

同一网络层的激活值精度相同。

3.根据权利要求1所述的方法，其特征在于，所述根据所述适应度计算得到进化中的最优量化策略，包括：

将当前所有的量化策略组成一个族群；

根据族群中各个量化策略的适应度计算各个量化策略在进化中被选中的概率；

根据所述概率得到最优量化策略。

4.根据权利要求3所述的方法，其特征在于，所述根据所述概率得到最优量化策略，包括：

当量化策略在进化中被选中的概率达到预设阈值时，将所述量化策略作为最优量化策略。

5.根据权利要求4所述的方法，其特征在于，当量化策略在进化中被选中的概率没有达到预设阈值时，还包括：

根据选择、变异和交叉的进化算子生成子代量化策略；

计算所述子代量化策略的适应度和在进化中被选中的概率；

当所述子代量化策略在进化中被选中的概率没有达到预设阈值时，重复执行上述步骤，直到被选中的概率达到预设阈值。

6.根据权利要求1所述的方法，其特征在于，根据所述最优量化策略对神经网络的激活值进行量化，包括：

通过截断式修正线性单元激活函数对神经网络的激活值进行量化。

7.一种基于进化算法的神经网络模型压缩装置，其特征在于，包括：

随机模块，用于随机生成各个网络层的权值精度和激活值精度，得到不同的量化策略；

第一计算模块，用于根据所述权值精度和激活值精度计算不同量化策略的适应度；

第二计算模块，用于根据所述适应度计算得到进化中的最优量化策略；

压缩模块，用于根据所述最优量化策略对神经网络的权值和激活值进行量化，实现神经网络模型压缩。

8.根据权利要求7所述的装置，其特征在于，所述随机模块，包括：

随机生成的同一网络层的权值精度相同；

随机生成的同一网络层的激活值精度相同。

9.一种基于进化算法的神经网络模型压缩设备，其特征在于，包括处理器和存储有程序指令的存储器，其特征在于，所述处理器被配置为在执行所述程序指令时，执行如权利要求1至6任一项所述的基于进化算法的神经网络模型压缩方法。

10.一种计算机可读介质，其特征在于，其上存储有计算机可读指令，所述计算机可读指令可被处理器执行以实现如权利要求1至6任一项所述的一种基于进化算法的神经网络模型压缩方法。