[发明专利]神经网络压缩方法、装置、设备及可读存储介质

说明书

本申请公开了神经网络压缩方法、装置、设备及可读存储介质，本申请获取待压缩的多层级深度学习神经网络及网络损失；确定与多层级深度学习神经网络对应的稀疏编码及稀疏权重，如此，可去除多层级深度学习神经网络中冗余参数及权重；确定稀疏编码损失及稀疏权重损失；将网络损失、稀疏编码损失及稀疏权重损失进行融合，得到压缩损失；利用压缩损失对多层级深度学习神经网络进行压缩，得到压缩后的多层级深度学习神经网络。可见，本申请可实现对该待压缩的多层级深度学习神经网络进行双重压缩，减少冗余参数，以降低神经网络的计算性能损耗。本申请对多层级深度学习神经网络的各层级进行稀疏编码及稀疏权重，可避免深度学习神经网络中的强串扰问题。

技术领域

本申请涉及互联网技术领域，更具体地说，涉及一种神经网络压缩方法、装置、设备及可读存储介质。

背景技术

随着互联网技术的发展，深度学习神经网络因其能在复杂环境中出色地完成决策任务而受到了广泛关注。例如，深度学习神经网络可以应用于医学图像分割，提供端到端的图像分割结果，以帮助医生更准确地诊断病情；深度学习神经网络也可以用于智能电网的脆弱性分析，找出智能电网的脆弱环节；深度学习神经网络还可以用于机器人的动作控制；深度学习神经网络还可以用于物联网设备的资源分配决策、任务卸载；深度学习神经网络还可以用于自动驾驶技术等。

但是，在现有技术中，深度学习神经网络普遍具有高冗余性，这导致了深度学习神经网络控制性能的下降且极大地影响了深度学习神经网络的实用性。如何有效地减少深度学习神经网络中的冗余参数，降低神经网络的计算性能损耗，是一个值得关注的问题。

综上所述，亟需一种神经网络压缩方法，用于压缩深度学习神经网络中的冗余参数，以降低神经网络的计算性能损耗。

发明内容

有鉴于此，本申请提供了一种神经网络压缩方法、装置、设备及可读存储介质，用于压缩深度学习神经网络中的冗余参数，以降低神经网络的计算性能损耗。

为了实现上述目的，现提出的方案如下：

一种神经网络压缩方法，包括：

获取待压缩的多层级深度学习神经网络及其对应的网络损失；

确定与所述多层级深度学习神经网络对应的稀疏编码及稀疏权重；

确定所述稀疏编码对应的稀疏编码损失及所述稀疏权重对应的稀疏权重损失；

将所述网络损失、所述稀疏编码损失及稀疏权重损失进行融合，得到融合后的压缩损失；

利用所述压缩损失对所述多层级深度学习神经网络的各层级输出过程中的参数进行压缩，得到压缩后的多层级深度学习神经网络。

可选的，确定与所述多层级深度学习神经网络对应的稀疏编码，包括：

确定所述多层级深度学习神经网络中各层级的输出分布及与所述稀疏编码对应的编码期望值；

利用SKL散度，并基于输出分布及编码期望值，得到分布差值；

基于所述分布差值与所述输出分布，得到所述多层级深度学习神经网络的稀疏编码。

可选的，利用SKL散度，并基于输出分布及编码期望值，得到分布差值，包括：

利用SKL散度的定义，确定分布差值计算式；

基于输出分布、编码期望值及所述分布差值计算式，计算得到多层级深度学习神经网络各层级的分布差值。

可选的，确定与所述多层级深度学习神经网络对应的稀疏权重，包括：

获取所述多层级深度学习神经网络每一层级对应的权重系数集合；

确定与所述稀疏权重对应的权重调节参数；