[发明专利]神经网络级间激活值量化方法及装置

说明书

一种神经网络级间激活值量化方法及装置，其中，所述方法包括：获取神经网络上一级激活层的激活值；根据激活值到各个聚类中心的距离确定激活值划分到的聚类中心；采用预设权重对划分到的聚类中心进行加权得到当前激活层的加权输入；在当前激活层对加权输入进行量化得到当前激活层的激活值。相对于现有技术中复杂的卷积运算，本发明提供的技术方案能够对神经网络在进行激活值量化时减少乘法运算负担，从而降低神经网络激活值量化复杂度，继而提高了量化运行效率。

技术领域

本发明涉及神经网络技术领域，具体涉及一种神经网络级间激活值量化方法及装置。

背景技术

随着人工智能的发展，尤其是卷积神经网络的发展，其在智能监控领域得到了广泛的运用，成为不可缺少的一个工具，比如人脸识别、车辆检测、物体识别等。但是随着现代卷积神经网络的层数加深，网络的复杂度也变得越来越大，比如说对于一个卷积神经网络，其卷积层数量可以超过10层，此外所有卷积层的计算量几乎占据了整个网络计算量的80％。这就导致类似的卷积神经网络不能够运行在监控摄像头等嵌入式设备上。

因此，如何降低神经网络的计算复杂度，是神经网络算法所需要解决的问题。现有技术中，通常会对神经网络的级间激活和每一层的权重进行一些量化操作，从而使得神经网络中所有的矩阵乘法变成指数移位操作。譬如现有技术中常采用线性量化(LinearQuant)或者非线性量化(LogQuant)来量化级间激活值，从而限制激活值的取值范围，但是，在量化过程中都不可避免的需要涉及到乘除法计算，从而给网络量化带来了额外的计算量。

因此，如何降低神经网络激活值量化复杂度成为亟待解决的技术问题。

发明内容

本发明要解决的技术问题在于如何降低神经网络激活值量化复杂度。

为此，根据第一方面，本发明实施例公开了一种神经网络级间激活值量化方法，包括：

获取神经网络上一级激活层的激活值；根据激活值到各个聚类中心的距离确定激活值划分到的聚类中心；采用预设权重对划分到的聚类中心进行加权得到当前激活层的加权输入；在当前激活层对加权输入进行量化得到当前激活层的激活值。

可选地，根据激活值到各个聚类中心的距离确定激活值划分到的聚类中心包括：获取激活值到各个聚类中心的距离；确定激活值到各个聚类中心的最小距离；将激活值划分到激活值到各个聚类中心的最小距离对应的聚类中心。

可选地，采用预设权重对划分到的聚类中心进行加权得到当前激活层的加权输入包括：根据上一级激活层的激活值所在位置提取对应的预设权重；采用提取的预设权重对划分到的聚类中心进行加权得到当前激活层与上一级激活层的激活值对应位置的加权输入。

可选地，预设权重包括0、-1和1。

根据第二方面，本发明实施例公开了一种神经网络级间激活值量化装置，包括：

获取模块，用于获取神经网络上一级激活层的激活值；聚类模块，用于根据激活值到各个聚类中心的距离确定激活值划分到的聚类中心；加权模块，用于采用预设权重对划分到的聚类中心进行加权得到当前激活层的加权输入；量化模块，用于在当前激活层对加权输入进行量化得到当前激活层的激活值。

可选地，聚类模块包括：距离获取单元，用于获取激活值到各个聚类中心的距离；最小确定单元，用于确定激活值到各个聚类中心的最小距离；聚类确定单元，用于将激活值划分到激活值到各个聚类中心的最小距离对应的聚类中心。

可选地，加权模块包括：提取单元，用于根据上一级激活层的激活值所在位置提取对应的预设权重；计算单元，用于采用提取的预设权重对划分到的聚类中心进行加权得到当前激活层与上一级激活层的激活值对应位置的加权输入。

可选地，预设权重包括0、-1和1。

本发明技术方案，具有如下优点：