[发明专利]基于进化算法的神经网络模型压缩方法及装置

说明书

本发明公开了一种基于进化算法的神经网络模型压缩方法，包括：随机生成各个网络层的权值精度和激活值精度，得到不同的量化策略；根据所述权值精度和激活值精度计算不同量化策略的适应度；根据所述适应度计算得到进化中的最优量化策略；根据所述最优量化策略对神经网络的权值和激活值进行量化，实现神经网络模型压缩。本发明公开的神经网络模型压缩方法，可以针对不同的网络层实行不同程度的权值量化，还可以对权值和激活值进行联合优化，使模型性能达到最优，而且基于进化算法可以自动搜索最优量化策略，不需要人为经验和其他规则约束。

技术领域

本发明涉及人工智能技术领域，特别涉及一种基于进化算法的神经网络模型压缩方法、装置、设备及存储介质。

背景技术

近年来，神经网络在人工智能的许多领域取得了成功，然而随着神经网络模型层数越来越多，网络模型的权重参数数量也随之增长，其在嵌入式移动平台上的应用受到了限制，神经网络模型压缩旨在减少模型中存在的冗余信息，通过减少表示模型的数据来对神经网络进行存储上的压缩和计算上的加速。

模型量化是一种常用的神经网络模型压缩方法，它主要有两个研究方向，一个是权值共享，基本思想是多个网络连接的权重共用一个权值，还有一个是权值精简，即权值的低比特表示，模型量化可以减少表示权值的比特数，因此可以减少模型的存储和计算量，现有技术中的量化方法，对神经网络的所有网络层进行相同程度的量化，会造成比较大的性能损失，因为不同网络层对于网络模型的性能影响是不同的。

发明内容

本公开实施例提供了一种基于进化算法的神经网络模型压缩方法、装置、设备及存储介质。为了对披露的实施例的一些方面有一个基本的理解，下面给出了简单的概括。该概括部分不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念，以此作为后面的详细说明的序言。

第一方面，本公开实施例提供了一种基于进化算法的神经网络模型压缩方法，包括：

随机生成各个网络层的权值精度和激活值精度，得到不同的量化策略；

根据权值精度和激活值精度计算不同量化策略的适应度；

根据适应度计算得到进化中的最优量化策略；

根据最优量化策略对神经网络的权值和激活值进行量化，实现神经网络模型压缩。

进一步地，随机生成各个网络层的权值精度和激活值精度，包括：

同一网络层的权值精度相同；

同一网络层的激活值精度相同。

进一步地，根据适应度计算得到进化中的最优量化策略，包括：

将当前所有的量化策略组成一个族群；

根据族群中各个量化策略的适应度计算各个量化策略在进化中被选中的概率；

根据概率得到最优量化策略。

进一步地，根据概率得到最优量化策略，包括：

当量化策略在进化中被选中的概率达到预设阈值时，将量化策略作为最优量化策略。

进一步地，当量化策略在进化中被选中的概率没有达到预设阈值时，还包括：

根据选择、变异和交叉的进化算子生成子代量化策略；

计算子代量化策略的适应度和在进化中被选中的概率；

当子代量化策略在进化中被选中的概率没有达到预设阈值时，重复执行上述步骤，直到被选中的概率达到预设阈值。

进一步地，根据最优量化策略对神经网络的激活值进行量化，包括：