[发明专利]一种基于动态稀疏卷积的神经网络加速推理方法和系统

说明书

本申请涉及一种基于动态稀疏卷积的神经网络加速推理方法和系统。根据输入的特征图预测输出特征图中冗余计算的位置，得到稀疏的数据掩膜和通道掩膜；在训练阶段，利用动态稀疏卷积层，引导卷积层只对掩膜标记的位置进行处理，对网络进行稀疏正则化训练，提高网络的稀疏性，降低网络的冗余度，训练完成之后，在推理阶段，利用动态稀疏卷积根据输入数据动态跳过冗余位置的计算。本发明在不影响模型性能的前提下，有效减少了模型的计算量，降低了模型在推理过程中的资源占用，提高了模型的推理速度，使得模型能够在资源有限的边缘设备上运行。

技术领域

本申请涉及深度学习领域，特别是涉及一种基于动态稀疏卷积的神经网络加速推理方法和系统。

背景技术

近年来，深度学习发展十分迅速，在计算机视觉、自然语言处理、推荐系统、机器人等领域得到了成功的应用。但随着深度神经网络的规模不断扩大，网络参数量不断增加，网络计算开销不断增大，在计算资源受限的嵌入式设备中难以运行。现有技术存在计算量大、效率低的问题。

发明内容

基于此，有必要针对上述技术问题，提供一种能够避免冗余计算的基于动态稀疏卷积的神经网络加速推理方法和系统。

一种基于动态稀疏卷积的神经网络加速推理方法，所述方法包括：

获取神经网络任一卷积层的输入特征图，根据所述输入特征图得到所述卷积层的数据掩膜和通道掩膜；所述数据掩膜和所述通道掩膜用于预测当前卷积层输出特征图中冗余计算的位置；

将训练数据输入所述神经网络中，将神经网络中的当前卷积层替换为动态稀疏卷积层；所述动态稀疏卷积层中包括前一卷积层的前一通道掩膜，以及当前卷积层的当前数据掩膜和当前通道掩膜；

根据所述前一卷积层的前一通道掩膜，以及当前卷积层的当前数据掩膜和当前通道掩膜，对当前卷积层的输入特征图进行处理，引导当前卷积层只对掩膜标记的位置进行处理；

对整个神经网络进行稀疏正则化训练，得到训练好的稀疏神经网络模型；

将待推理数据输入所述训练好的稀疏神经网络模型，对任一动态稀疏卷积层，根据前一卷积层的前一通道掩膜和当前卷积层的当前数据掩膜，对当前卷积层的输入特征图进行处理，动态跳过当前卷积层中的冗余计算，得到推理结果。

在其中一个实施例中，还包括：获取神经网络任一卷积层的输入特征图F^l-1，所述输入特征图F^l-1的维度为H*W*C，其中，H表示特征图的高，W表示特征图的宽，C表示特征图的通道；

将所述输入特征图F^l-1送入多层卷积层得到数据特征图所述数据特征图的维度为H*W*2；

获取温度参数t；

利用softmax函数计算特征图沿通道维度在温度参数t条件下的softmax分布，得到所述卷积层的数据掩模

对所述输入特征图F^l-1进行全局池化，得到特征向量，所述特征向量的长度为2C；

将所述特征向量进行变形，得到通道特征图所述通道特征图的维度为C*2；

利用softmax计算特征图沿通道维度在所述温度参数t条件下的softmax分布，得到所述卷积层的通道掩模

在其中一个实施例中，还包括：利用softmax函数计算特征图沿通道维度在温度参数t条件下的softmax分布，得到所述卷积层的数据掩模为：

其中，i、j、k分别为H、W和C的索引。

在其中一个实施例中，还包括：利用softmax计算特征图沿通道维度在所述温度参数t条件下的softmax分布，得到所述卷积层的通道掩模为：