[发明专利]级间激活值量化方法及装置

说明书

一种级间激活值量化方法及装置，所述方法包括：获取神经网络上一级激活层的激活值；采用卷积层预设权重对上一级激活层的激活值进行加权得到当前激活层的加权输入；在当前激活层对加权输入进行量化得到当前激活层的激活值。使得在对当前激活层加权输入进行量化时能够减少后续卷积层的乘法复杂度，相对于现有技术中复杂的卷积运算，本发明提供的技术方案能够对神经网络在进行激活值量化时之后减少卷积层乘法运算负担，从而提高了神经网络运行效率。

技术领域

本发明涉及神经网络领域，具体涉及一种级间激活值量化方法及装置。

背景技术

随着人工智能的发展，尤其是卷积神经网络的发展，其在智能监控领域得到了广泛的运用，成为不可缺少的一个工具，比如人脸识别、车辆检测、物体识别等。但是随着现代卷积神经网络的层数加深，网络的复杂度也变得越来越大，比如说对于一个卷积神经网络，其卷积层数量可以超过10层，此外所有卷积层的计算量几乎占据了整个网络计算量的80％。这就导致类似的卷积神经网络不能够运行在监控摄像头等嵌入式设备上。

因此，如何降低神经网络的计算复杂度，是神经网络算法所需要解决的问题。现有技术中，通常会对神经网络的级间激活和每一层的权重进行一些量化操作，从而使得神经网络中所有的矩阵乘法变成指数移位操作。譬如现有技术中常采用线性量化(LinearQuantization)或者非线性量化(Log Quantization)来量化级间激活值，从而限制激活值的取值范围，但是，在量化过程中都不可避免的需要涉及到乘除法计算，从而给网络量化带来了额外的计算量。此外，也有通过限制只对卷积层输出特征图(feature map)的几个位置进行取值，而其他位置通过插值方式得到，而此时需要采用欧式距离进行插值，依旧需要额外的乘法计算量。

因此，如何对神经网络在进行激活值量化时减少乘法运算负担来提高运行效率成为亟待解决的技术问题。

发明内容

本发明要解决的技术问题在于如何对神经网络在进行激活值量化后减少乘法运算负担来提高运行效率。

为此，根据第一方面，本发明实施例公开了一种级间激活值量化方法方法，包括：

获取神经网络上一级激活层的激活值；采用预设权重对上一级激活层的激活值进行加权得到当前激活层的加权输入；在当前激活层对加权输入进行量化得到当前激活层的激活值。

可选地，预设权重包括0、-1和1。

可选地，获取神经网络上一级激活层的激活值包括：分别获取上一级激活层的各个位置的激活值；采用预设权重对上一级激活层的激活值进行加权得到当前激活层的加权输入包括：根据上一级激活层的激活值所在位置提取对应的预设权重；采用提取的预设权重对上一级激活层的激活值进行加权得到当前激活层与上一级激活层的激活值对应位置的加权输入。

根据第一方面，本发明实施例公开了一种级间激活值量化装置，包括：

获取模块，用于获取神经网络上一级激活层的激活值；加权模块，用于采用预设权重对上一级激活层的激活值进行加权得到当前激活层的加权输入；量化模块，用于在当前激活层对加权输入进行量化得到当前激活层的激活值。

可选地，预设权重包括0、-1和1。

可选地，获取模块具体用于分别获取上一级激活层的各个位置的激活值；加权模块包括：提取单元，用于根据上一级激活层的激活值所在位置提取对应的预设权重；计算单元，用于采用提取的预设权重对上一级激活层的激活值进行加权得到当前激活层与上一级激活层的激活值对应位置的加权输入。

本发明技术方案，具有如下优点：