[发明专利]一种卷积神经网络加速方法及系统

说明书

本发明提出一种卷积神经网络加速方法及系统，包括将待特征分析的图像作为输入激活输入卷积神经网络，分解该卷积神经网络中滤波器的权值向量，得到滤波器中权值对应的符号向量；通过符号向量与输入激活向量执行卷积运算，得到第一卷积结果，通过补偿因子与输入激活向量执行卷积运算，得到第二卷积结果，将该第一卷积结果和第二卷积结果相加，得到预测结果；该卷积神经网络执行卷积计算时根据该预测结果跳过0值相关的运算，得到卷积结果。本发明可预知输出激活的稀疏度，以指导原始的神经网络运算跳过0值相关的运算，从而减少原始网络的计算量，节省计算资源、降低功耗并提升性能。

技术领域

本发明涉及计算机系统结构，并特别涉及一种基于权值符号预测稀疏激活数据的卷积神经网络加速方法及系统。

背景技术

神经网络在图像检测、语音识别、自然语言处理方面具有先进的性能，随着应用的复杂化，神经网络模型也随之复杂，对传统的硬件提出很多挑战，为了缓解硬件资源的压力，稀疏网络在计算、存储、功耗需求等方面具有很好的优势。已经出现了很多加速稀疏网络的算法和加速器，如面向CPU的sparse-blas库，面向GPU的cusparse库等，它们在一定程度上加速了稀疏网络的执行，对于专用的加速器，则在性能、功耗等方面具有先进的表现力。

神经网络模型随着应用的复杂化也变得大而深，这对传统的硬件提出很多挑战，为了缓解硬件资源的压力，稀疏网络在计算、存储、功耗需求等方面具有很好的优势。

在大多深度神经网络(DNN)中，网络层的输出广泛使用了整流线性单元(RELU)，将负值激活数据强制输出为0，同时对于神经网络的权值，基于权值数据的冗余特性，使用剪枝等方法将一些权值置为0，这些方式导致神经网络出现了大量的0值输出激活数据和权值，所以稀疏网络中存在着权值稀疏和激活稀疏，现代DNN模型中大约有50％的稀疏性。神经网络的运算以乘加运算为主，由于0值数据与任何值相乘都为0，所以这些运算可以视为无效的运算，无效运算的执行占用计算资源导致计算资源和功耗的浪费，延长了网络的执行时间，降低了网络的性能。

发明内容

针对神经网络中存在大量的稀疏数据，发明了一种稀疏激活数据的预测装置，利用较小的预测开销，提前预测出激活数据的稀疏性，以此指导原始的神经网络运算。由此将神经网络的执行分成两个阶段，分别为预测阶段和执行阶段。在预测阶段，利用权值符号与输入激活数据执行网络运算，同时加入补偿因子减少推理准确度的损失，生成输出激活数据的预测结果。在执行阶段，使用预测的输出激活数据，仅执行输出激活预测值为正的相关神经网络运算，除去激活预测值为负的相关神经网络运算。最终减少了稀疏网络运算的计算量，降低了功耗的同时也提升了网络的执行性能。

具体来说针对现有技术的不足，本发明提出一种卷积神经网络加速方法及系统，其中，包括：

步骤1、将待特征分析的图像作为输入激活输入卷积神经网络，分解该卷积神经网络中滤波器的权值向量，得到滤波器中权值对应的符号向量；

步骤2、通过符号向量与输入激活向量执行卷积运算，得到第一卷积结果，通过补偿因子与输入激活向量执行卷积运算，得到第二卷积结果，将该第一卷积结果和第二卷积结果相加，得到预测结果；

步骤2、该卷积神经网络执行卷积计算时根据该预测结果跳过0值相关的运算，得到卷积结果。

所诉的卷积神经网络加速方法及系统，其中，该步骤2包括：判断该预测结果中是否存在小于等于0的数值，若有，则获取该小于等于0的数值在该预测结果中的向量位置，在执行卷积计算时跳过涉及该向量位置的计算过程，得到激活输出结果，并将激活输出结果中位于该向量位置的数值置零，得到该卷积结果。

所诉的卷积神经网络加速方法及系统，其中，该步骤1包括：将该卷积神经网络中滤波器中高位权值作为该符号向量。

所诉的卷积神经网络加速方法及系统，其中，该补偿因子的取值范围大于0小于1。