[发明专利]一种神经网络压缩方法及系统

权利要求书

1.一种神经网络压缩方法，其特征在于，包括：

获取待压缩神经网络，所述待压缩神经网络为预先训练完成后的神经网络；

在所述待压缩神经网络中添加显著性表征网络；

在保持所述待压缩神经网络的参数不变的情况下，训练添加所述显著性表征网络后的所述待压缩神经网络；

获取与预设压缩需求对应的目标样本集；

将所述目标样本集输入训练后的添加显著性表征网络的待压缩神经网络，获取用于表征所述待压缩神经网络中通道重要性的信息；

基于所述用于表征所述待压缩神经网络中通道重要性的信息，对所述待压缩神经网络执行与所述预设压缩需求对应的操作，得到压缩后的神经网络。

2.如权利要求1所述的神经网络压缩方法，其特征在于，所述在所述待压缩神经网络中添加显著性表征网络包括：

在所述待压缩神经网络包括多个待压缩神经网络层，所述显著性表征网络包括多个显著性表征子网络的情况下，在每一个待压缩神经网络层之后添加一个显著性表征子网络。

3.如权利要求2所述的神经网络压缩方法，其特征在于，每个显著性表征子网络包括高维含义重要性通道和/或物理含义重要性通道。

4.如权利要求3所述的神经网络压缩方法，其特征在于，所述物理含义重要性通道包括多个物理含义重要性子通道。

5.根据权利要求1-4中任意一项所述的神经网络压缩方法，其特征在于，所述基于所述用于表征所述待压缩神经网络中通道重要性的信息，对所述待压缩神经网络执行与所述预设压缩需求对应的操作，得到压缩后的神经网络的过程包括：

利用所述用于表征所述待压缩神经网络中通道重要性的信息计算通道特征值；

获取依据所述预设压缩需求确定的第一预设压缩通道数；

利用所述第一预设压缩通道数及所述通道特征值，依据所述预设压缩需求，对所述待压缩神经网络进行通道剪枝操作，得到压缩后的神经网络。

6.如权利要求5所述的神经网络压缩方法，其特征在于，还包括：

计算所述压缩后的神经网络中每个通道的特征的范数值；

基于第二预设压缩通道数及所述每个通道的特征的范数值对所述压缩后的神经网络进行通道剪枝操作。

7.一种神经网络压缩系统，其特征在于，包括：

第一获取模块，用于获取待压缩神经网络，所述待压缩神经网络为预先训练完成后的神经网络；

添加模块，用于在所述待压缩神经网络中添加显著性表征网络；

训练模块，用于在保持所述待压缩神经网络的参数不变的情况下，训练添加所述显著性表征网络后的所述待压缩神经网络；

第二获取模块，用于获取与预设压缩需求对应的目标样本集；

数据处理模块，用于将所述目标样本集输入训练后的添加显著性表征网络的待压缩神经网络，获取用于表征所述待压缩神经网络中通道重要性的信息；

第一压缩模块，用于基于所述用于表征所述待压缩神经网络中通道重要性的信息，对所述待压缩神经网络执行与所述预设压缩需求对应的操作，得到压缩后的神经网络。

8.根据权利要求7所述的神经网络压缩系统，其特征在于，所述添加模块具体用于：

在所述待压缩神经网络包括多个待压缩神经网络层，所述显著性表征网络包括多个显著性表征子网络的情况下，在每一个待压缩神经网络层之后添加一个显著性表征子网络。

9.根据权利要求7或8所述的神经网络压缩系统，其特征在于，所述第一压缩模块包括：

特征值计算单元，用于利用所述用于表征所述待压缩神经网络中通道重要性的信息计算通道特征值；

通道数获取单元，用于获取依据所述预设压缩需求确定的第一预设压缩通道数；

第一剪枝单元，用于利用所述第一预设压缩通道数及所述通道特征值，依据所述预设压缩需求，对所述待压缩神经网络进行通道剪枝操作，得到压缩后的神经网络。

10.如权利要求9所述的神经网络压缩系统，其特征在于，还包括：第二压缩模块，所述第二压缩模块包括：

范数计算单元，用于计算所述压缩后的神经网络中每个通道的特征的范数值；

第二剪枝单元，用于基于第二预设压缩通道数及所述每个通道的特征的范数值对所述压缩后的神经网络进行通道剪枝操作。