[发明专利]一种神经网络模型压缩方法、系统、装置及可读存储介质

说明书

本发明公开了一种神经网络模型压缩方法、系统、装置及计算机可读存储介质，所述方法包括利用神经网络裁剪方法对待裁剪神经网络模型进行裁剪得到待量化神经网络模型；利用INQ算法对所述待量化神经网络模型进行量化得到待存储神经网络模型；采用压缩格式存储所述待存储神经网络模型。由此可见，本发明实施例提供的一种神经网络模型压缩方法，通过对神经网络模型进行裁剪，同时裁剪过后对其采用INQ算法进行量化，在有效的保证压缩后的模型精度没有损失的情况下，可以减小模型尺寸，因此可以解决耗费资源过多的问题，并加速计算。

技术领域

本发明涉及人工智能领域，更具体地说，涉及一种神经网络模型压缩方法、系统、装置及计算机可读存储介质。

背景技术

当今时代，无论是在日常生活，还是互联网世界，都已经绕不开一个词，AI(Artificial Intelligence)，即人工智能。AI的应用已经渗透到很多方面，比如人脸识别、语音识别、文本处理、围棋对弈、游戏对战、自动驾驶、图片美化、读唇语、甚至地层断裂的仿真模拟等等。在很多方面，其准确度及处理问题的能力已经超过人类，因此，其有着非常广阔的应用前景及想象空间。在AI领域的算法技术当中，深度学习自从2012年在ImageNet竞赛中以绝对的优势夺冠起，便引起了学术界与工业界的广泛关注，各国科学家、研究人员、企业、网络社区都在大力研究并推动深度学习的神经网络模型的研究与发展。

随着深度学习在各个领域取得突破进展，将其应用到实际生活场景的需求也愈发强烈，尤其在今天，移动与便携式电子设备极大地方便了人们生活，而深度学习将极大地提高这些设备的智能性与娱乐性。因此，将深度学习的神经网络模型部署在移动端与嵌入式系统便成为迫切需求。

但是，通常情况下深度学习的神经网络模型在实际部署中，模型尺寸通常过大，一般情况下，神经网络模型从几十兆到上百兆不等，这样的文件大小，对于移动端来说，下载时耗费的流量以及带宽影响所导致的传输等待时间过长是用户无法忍受的，而对于一些嵌入式系统，存储空间是非常有限的，可能根本没有足够的存储空间来存储这么大的神经网络模型文件。

同时，对计算资源及计算能力要求高。在使用大型神经网络模型进行计算时，移动端与嵌入式系统抑或无法提供其所需的计算资源，抑或计算缓慢，导致响应延迟太高而无法满足实际应用场景。

此外，神经网络模型耗电量也大。在神经网络计算过程中，处理器需要频繁读取神经网络模型的参数，因此较大的神经网络模型也相应带来更高的内存访问次数，而频繁的内存访问也会极大提高耗电量。

通常的模型压缩方法虽然减小了模型尺寸，并对模型参数采取稀疏矩阵的方式进行存储，但模型的精度也不可避免的有所下降。另外也有压缩方法采取对压缩后的模型重新训练的方法，减小了模型精度的损失，但在利用模型推理预测是的运算性能却有明显下降。

因此，如何在压缩神经网络模型的同时保证神经网络模型的精度，是本领域人员需要解决的问题。

发明内容

本发明的目的在于提供一种神经网络模型压缩方法、系统、装置及计算机可读存储介质，以在压缩神经网络模型的同时保证神经网络模型的精度。

为实现上述目的，本发明实施例提供了如下技术方案：

一种神经网络模型压缩方法，包括：

利用神经网络裁剪方法对待裁剪神经网络模型进行裁剪得到待量化神经网络模型；

利用INQ算法对所述待量化神经网络模型进行量化得到待存储神经网络模型；

采用压缩格式存储所述待存储神经网络模型。

其中，所述神经网络裁剪方法包括动态网络裁剪算法。

其中，所述利用神经网络裁剪方法对待裁剪神经网络模型进行裁剪得到待量化神经网络模型，包括：