[发明专利]一种基于动态稀疏卷积的神经网络加速推理方法和系统

权利要求书

1.一种基于动态稀疏卷积的神经网络加速推理方法，其特征在于，所述方法包括：

获取神经网络任一卷积层的输入特征图，根据所述输入特征图得到所述卷积层的数据掩膜和通道掩膜；所述数据掩膜和所述通道掩膜用于预测当前卷积层输出特征图中冗余计算的位置；

将训练数据输入所述神经网络中，将神经网络中的当前卷积层替换为动态稀疏卷积层；所述动态稀疏卷积层中包括前一卷积层的前一通道掩膜，以及当前卷积层的当前数据掩膜和当前通道掩膜；

根据所述前一卷积层的前一通道掩膜，以及当前卷积层的当前数据掩膜和当前通道掩膜，对当前卷积层的输入特征图进行处理，引导当前卷积层只对掩膜标记的位置进行处理；

对整个神经网络进行稀疏正则化训练，得到训练好的稀疏神经网络模型；

将待推理数据输入所述训练好的稀疏神经网络模型，对任一动态稀疏卷积层，根据前一卷积层的前一通道掩膜和当前卷积层的当前数据掩膜，对当前卷积层的输入特征图进行处理，动态跳过当前卷积层中的冗余计算，得到推理结果。

2.根据权利要求1所述的方法，其特征在于，获取神经网络任一卷积层的输入特征图，根据所述输入特征图得到所述卷积层的数据掩膜和通道掩膜，包括：

获取神经网络任一卷积层的输入特征图F^l-1，所述输入特征图F^l-1的维度为H*W*C，其中，H表示特征图的高，W表示特征图的宽，C表示特征图的通道；

将所述输入特征图F^l-1输入多层卷积层得到数据特征图所述数据特征图的维度为H*W*2；

获取温度参数t；

利用softmax函数计算特征图沿通道维度在温度参数t条件下的softmax分布，得到所述卷积层的数据掩模

对所述输入特征图F^l-1进行全局池化，得到特征向量，所述特征向量的长度为2C；

将所述特征向量进行变形，得到通道特征图所述通道特征图的维度为C*2；

利用softmax计算特征图沿通道维度在所述温度参数t条件下的softmax分布，得到所述卷积层的通道掩模

3.根据权利要求2所述的方法，其特征在于，利用softmax函数计算特征图沿通道维度在温度参数t条件下的softmax分布，得到所述卷积层的数据掩模包括：

利用softmax函数计算特征图沿通道维度在温度参数t条件下的softmax分布，得到所述卷积层的数据掩模为：

其中，i、j、k分别为H、W和C的索引。

4.根据权利要求3所述的方法，其特征在于，利用softmax计算特征图沿通道维度在所述温度参数t条件下的softmax分布，得到所述卷积层的通道掩模包括：

利用softmax计算特征图沿通道维度在所述温度参数t条件下的softmax分布，得到所述卷积层的通道掩模为：