[发明专利]基于数据流架构的稀疏卷积神经网络加速方法及装置

说明书

本发明提供一种基于数据流架构的稀疏卷积神经网络加速方法，其包括：通过计算输入激活和权值矩阵的运算，得到输出激活的正负值标记信息；根据所述输出激活的正负值标记信息，对与所述输出激活相关的指令的有效与无效进行标记，得到指令标记信息；根据所述指令标记信息，筛选出所述指令中被标记为有效的指令；跳过所述被标记为无效的指令，仅执行所述被标记为有效的指令。

技术领域

本发明涉及计算机系统结构技术领域，特别涉及一种基于数据流架构的稀疏卷积神经网络加速方法及装置。

背景技术

神经网络在图像检测、语音识别、自然语言处理方面具有先进的性能，随着应用的复杂化，神经网络模型也随之复杂，对传统的硬件提出很多挑战，为了缓解硬件资源的压力，稀疏网络在计算、存储、功耗需求等方面具有很好的优势。已经出现了很多加速稀疏网络的算法和加速器，如面向CPU的sparse-blas库，面向GPU的cusparse库等，它们在一定程度上加速了稀疏网络的执行，对于专用的加速器，则在性能、功耗等方面具有先进的表现力。数据流架构在大数据处理、科学计算等方面具有广泛的应用，解耦的算法和结构使其具有良好的通用性和灵活性。数据流架构的天然并行性很好匹配了神经网络算法的并行特性。然而像CPU、GPU以及加速密集网络的专用加速器无法对稀疏网络进行加速，用于加速稀疏网络的专用加速器由于算法和结构的强耦合缺乏了架构的灵活性和通用性，无法进行算法的创新。

基于数据流架构，将神经网络算法以数据流图的形式映射在由计算阵列(PE阵列)组成的架构中，数据流图中包含多个结点，结点中包含多个指令，流图的有向边表示结点的依赖关系。PE阵列执行映射的指令即可实现神经网络的运算。

在大多深度神经网络(DNN)中，网络层的输出广泛使用了整流线性单元(RELU)，将负值激活数据强制输出为0，同时对于神经网络的权值，基于权值数据的冗余特性，使用剪枝等方法将一些权值置为0，这些方式导致神经网络出现了大量的0值输出激活数据和权值，所以稀疏网络中存在着权值稀疏和激活稀疏，现代DNN模型中大约有50％的稀疏性。神经网络的运算以乘加运算为主，由于0值数据与任何值相乘都为0，所以这些运算可以视为无效的运算，无效运算的执行占用计算资源导致计算资源和功耗的浪费，延长了网络的执行时间，降低了网络的性能。

为了去除这些无效的计算，在数据流架构中，一种有效的方法是依据数据的特征，生成数据流图中对应指令的标记信息，PE阵列在执行指令前，依据这些标记信息只执行有效的指令，跳过无效的指令，从而实现计算资源的节省和功耗的降低以及性能的提升。

然而，权值和激活数据具有不同的特征，权值数据是静态的，它不随着神经网络的运算而变化，而激活数据是动态的，在计算神经网络的一层之前，无法知道输出激活的稀疏度。

利用权值的静态数据特性可以在编译阶段生成指令的标记信息，从而使PE阵列根据指令的标记信息跳过0权值相关的指令，但是这种方式不适用于动态特性的激活数据。首先，神经网络是“layer-by-layer”的执行过程，当前网络层的输入激活来源于前一层的输出激活，在编译阶段无法获得激活的信息；其次，在当前层计算前，也无法知道哪些权值和输入激活与无效输出激活有关。因此，在编译阶段利用指令标记信息使PE阵列在执行时跳过无效指令的方式，只能利用权值的稀疏性而无法利用激活数据的稀疏性，从而无法充分去除0值相关的所有运算，造成计算资源的浪费以及功耗的增加，也降低了神经网络的性能。

发明内容

针对现有技术的不足，本发明提供了一种基于数据流架构的稀疏卷积神经网络加速方法，其包括以下步骤：

步骤1、通过计算输入激活和权值矩阵的运算，得到输出激活的正负值标记信息；

步骤2、根据所述输出激活的正负值标记信息，对与所述输出激活相关的指令的有效与无效进行标记，得到指令标记信息；

步骤3、根据所述指令标记信息，筛选出所述指令中被标记为有效的指令；