[发明专利]神经网络压缩方法、装置、设备及可读存储介质

权利要求书

1.一种神经网络压缩方法，其特征在于，包括：

获取待压缩的多层级深度学习神经网络及其对应的网络损失；

确定与所述多层级深度学习神经网络对应的稀疏编码及稀疏权重；

确定所述稀疏编码对应的稀疏编码损失及所述稀疏权重对应的稀疏权重损失；

将所述网络损失、所述稀疏编码损失及所述稀疏权重损失进行融合，得到融合后的压缩损失；

利用所述压缩损失对所述多层级深度学习神经网络的各层级输出过程中的参数进行压缩，得到压缩后的多层级深度学习神经网络。

2.根据权利要求1所述的方法，其特征在于，确定与所述多层级深度学习神经网络对应的稀疏编码，包括：

确定所述多层级深度学习神经网络中各层级的输出分布及与所述稀疏编码对应的编码期望值；

利用SKL散度，并基于输出分布及编码期望值，得到分布差值；

基于所述分布差值与所述输出分布，得到所述多层级深度学习神经网络的稀疏编码。

3.根据权利要求2所述的方法，其特征在于，利用SKL散度，并基于输出分布及编码期望值，得到分布差值，包括：

利用SKL散度的定义，确定分布差值计算式；

基于输出分布、编码期望值及所述分布差值计算式，计算得到多层级深度学习神经网络各层级的分布差值。

4.根据权利要求1所述的方法，其特征在于，确定与所述多层级深度学习神经网络对应的稀疏权重，包括：

获取所述多层级深度学习神经网络每一层级对应的权重系数集合；

确定与所述稀疏权重对应的权重调节参数；

利用正则化技术及所述权重调节参数，对每一权重系数集合中的各权重系数进行缩小，得到与所述多层级深度学习神经网络对应的稀疏权重。

5.根据权利要求4所述的方法，其特征在于，所述利用正则化技术及所述权重调节参数，对每一权重系数集合中的各权重系数进行缩小，包括：

利用对数正则化技术及所述权重调节参数，对每一权重系数集合中的各权重系数进行缩小。

6.根据权利要求4所述的方法，其特征在于，利用所述压缩损失对所述多层级深度学习神经网络的各层级输出过程中的参数进行压缩，包括：

基于所述压缩损失，并利用随机梯度下降法，更新所述多层级深度学习神经网络的各层级的参数集合中的各权重系数集合及偏置集合；

基于所述压缩损失，并利用正则化器的近端算子，修剪所述多层级深度学习神经网络的各层级对应的权重系数集合；

其中，所述多层级深度学习神经网络的各层级的参数集合中的各权重系数集合及偏置集合的更新过程，和所述多层级深度学习神经网络的各层级对应的权重系数集合的修剪过程交替迭代。

7.根据权利要求1所述的方法，其特征在于，确定所述稀疏编码对应的稀疏编码损失及所述稀疏权重对应的稀疏权重损失，包括：

确定与所述稀疏编码对应的编码系数；

确定与所述稀疏权重对应的权重参数；

将所述编码系数与各层级的稀疏编码相乘，得到稀疏编码损失；

将所述权重参数与各层级的稀疏权重相乘，得到稀疏权重损失；

将所述网络损失、所述稀疏编码损失及所述稀疏权重损失进行融合，得到融合后的压缩损失，包括：

将所述网络损失、所述稀疏编码损失及稀疏权重损失进行求和，得到压缩损失。

8.一种神经网络压缩装置，其特征在于，包括：

网络损失获取单元，用于获取待压缩的多层级深度学习神经网络及其对应的网络损失；

稀疏确定单元，用于确定与所述多层级深度学习神经网络对应的稀疏编码及稀疏权重；

稀疏损失确定单元，用于确定所述稀疏编码对应的稀疏编码损失及所述稀疏权重对应的稀疏权重损失；

损失融合单元，用于将所述网络损失、所述稀疏编码损失及稀疏权重损失进行融合，得到融合后的压缩损失；

网络压缩单元，用于利用所述压缩损失对所述多层级深度学习神经网络的各层级输出过程中的参数进行压缩，得到压缩后的多层级深度学习神经网络。