[发明专利]可调节量化位宽的神经网络量化与压缩的方法及装置

说明书

本发明涉及神经网络技术领域，具体提出一种卷积神经网络量化与压缩的方法及装置。旨在解决现有对神经网络量化与压缩的方法对网络性能造成较大损失的问题。本发明的方法包括获取原始卷积神经网络的权值张量和输入特征张量，并基于预先设定的量化位宽，对权值张量和输入特征张量进行定点量化，并将得到的权值定点表示张量以及输入特征定点表示张量替换原来的权值张量和输入特征张量，得到对原始卷积神经网络量化与压缩后的新的卷积神经网络。本发明能够根据不同的任务需要灵活地调整位宽，无需调整算法结构和网络结构即可实现对卷积神经网络的量化与压缩，减少对内存以及存储资源的占用。本发明还提出一种存储装置和处理装置，具有上述有益效果。

技术领域

本发明属于神经网络技术领域，具体提供一种卷积神经网络量化与压缩的方法及装置。

背景技术

近年来，随着卷积神经网络在目标检测识别领域的发展，其检测正确率已经达到商用水平，与此同时，便携设备(例如移动终端、智能设备)的高速发展，让研究者看到了将卷积神经网络与便携设备相结合的契机。然而，基于卷积神经网络的目标识别往往依赖于高性能的GPU(Graphics Processing Unit，图形处理器)设备，需要巨大的运算量，消耗较大的内存，如果在智能手机或者嵌入式设备上运行卷积神经网络模型，将迅速消耗智能手机或者嵌入式设备有限的内存资源、硬盘存储资源以及电量，这对用户来说，显然是难以接受的。

为解决上述问题，现有技术的工作主要聚焦于如何缩减卷积神经网络的规模以实现高效地网络训练以及如何在运行时加速针对卷积神经网络的量化与压缩。通过用定点数表示卷积神经网络模型，将相应地减少内存及存储资源的占用，对于FPGA(FieldProgrammable Gate Array，现场可编程门阵列)等专用器件来说将会节省资源，节约传输时间；采用较少的显存位宽也可以压缩逻辑电路的尺寸，在单位时间内，可进行运算的数目将会增多。但是现有技术的方法有些仅考虑压缩存储问题，有些量化或者压缩问题的解决方案对于硬件实现并不友好，有些追求较低的显存位宽导致网络性能地大幅下降，对大型卷积神经网络的所有层同时进行可变位宽的量化与压缩且对性能不造成较大损失的工作还有待研究。

因此，如何提供一种解决上述技术问题的方案是本领域技术人员目前需要解决的问题。

发明内容

为了解决现有技术中的上述问题，即为了解决现有技术对卷积神经网络进行量化与压缩时对卷积神经网络的性能造成较大损失的问题，本发明的一方面提供了一种卷积神经网络量化与压缩的方法，包括：

获取原始卷积神经网络卷积层初始的权值张量、以及除所述原始卷积神经网络的第一层以外各层初始的输入特征张量；

基于预先设定的量化位宽，对所述初始的权值张量以及所述初始的输入特征张量进行定点量化，分别得到权值定点表示张量以及输入特征定点表示张量；

利用所述权值定点表示张量以及所述输入特征定点表示张量，分别替换所述初始的权值张量以及所述初始的输入特征张量，得到对所述原始卷积神经网络量化与压缩后的新的卷积神经网络。

在上述方法的优选技术方案中，所述对所述初始的权值张量以及所述初始的输入特征张量进行定点量化，其方法为：

对所述原始卷积神经网络中各卷积层，将所述初始的输入特征张量进行由浮点数到定点数的量化，获得与所述初始的输入特征张量近似的第一输入特征张量，所述第一输入特征张量为输入特征定点表示张量，直至所述原始卷积神经网络中所有卷积层被遍历；

对所述原始卷积神经网络中各卷积层，将所述初始的权值张量进行由浮点数到定点数的量化，获得权值缩放系数以及第一权值张量，直至所述原始卷积神经网络中所有卷积层被遍历。

在上述方法的优选技术方案中，将所述初始的输入特征张量与权值张量进行由浮点数到定点数的量化，其方法为：