[发明专利]基于局部稀疏约束的结构化剪枝方法和装置

权利要求书

1.一种基于局部稀疏约束的结构化剪枝方法，其特征在于，包括：

基于预先设置的掩码，通过样本数据集对神经网络模型进行限制作用范围的稀疏化训练，得到权值稀疏的神经网络模型；其中，所述掩码是基于剪枝率预先设置，用于指定所述神经网络模型中进行所述稀疏化训练的通道；

基于所述预先设置的掩码，对所述权值稀疏的神经网络模型中输出通道的参数和网络连接进行剪枝处理；

通过所述样本数据集对剪枝处理得到的神经网络模型进行微调训练，得到目标神将网络模型。

2.根据权利要求1所述的基于局部稀疏约束的结构化剪枝方法，其特征在于，所述基于预先设置的掩码，通过样本数据集对神经网络模型进行限制作用范围的稀疏化训练，得到权值稀疏的神经网络模型，包括：

获取所述预先设置的掩码；其中，所述掩码是基于所述剪枝率和所述神经网络模型的层数以及每层的输出通道数预先设置；

基于所获取的掩码，对所述稀疏化训练的目标函数中的L1正则化项进行修改；

基于修改后的目标函数，通过所述样本数据集对所述神经网络模型进行稀疏化训练，得到所述权值稀疏的神经网络模型。

3.根据权利要求2所述的基于局部稀疏约束的结构化剪枝方法，其特征在于，所述掩码为由0和1组成一组向量，每个所述向量与所述神经网络模型的一层对应，每个所述向量包含的元素数量为所述神经网络模型对应层的输出通道数，每个所述向量包含的0和1的数量由所述剪枝率和所述神经网络模型对应层的输出通道数确定。

4.根据权利要求3所述的基于局部稀疏约束的结构化剪枝方法，其特征在于，若以1表示输出通道受到L1正则化项的约束，每个所述向量中1的数量根据所述剪枝率与所述神经网络模型对应层的输出通道数的乘积确定；若以0表示输出通道不受到L1正则化项的约束，每个所述向量中0的数量根据所述神经网络模型对应层的输出通道数与所述向量中1的数量的差值确定；

所述基于所述预先设置的掩码，对所述权值稀疏的神经网络模型中输出通道的参数和网络连接进行剪枝处理，包括：

对所述权值稀疏的神经网络模型每层的每个输出通道，判断在所述掩码中对应所述输出通道的取值是否为1；

若在所述掩码中对应所述输出通道的取值为1，将所述输出通道对应的参数和网络连接从所述权值稀疏的神经网络模型中移除。

5.根据权利要求1至4任一项所述的基于局部稀疏约束的结构化剪枝方法，其特征在于，所述稀疏化训练的目标函数还包括预训练目标函数项，所述神经网络模型是通过所述预训练得到。

6.根据权利要求5所述的基于局部稀疏约束的结构化剪枝方法，其特征在于，所述基于预先设置的掩码，通过样本数据集对神经网络模型进行限制作用范围的稀疏化训练，得到权值稀疏的神经网络模型之前，包括：

通过所述样本数据集对初始化神经网络模型进行所述预训练，得到所述神经网络模型。

7.一种基于局部稀疏约束的结构化剪枝装置，其特征在于，包括：

稀疏化训练模块，用于基于预先设置的掩码，通过样本数据集对神经网络模型进行限制作用范围的稀疏化训练，得到权值稀疏的神经网络模型；其中，所述掩码是基于剪枝率预先设置，用于指定所述神经网络模型中进行所述稀疏化训练的通道；

剪枝处理模块，用于基于所述预先设置的掩码，对所述权值稀疏的神经网络模型中输出通道的参数和网络连接进行剪枝处理；

微调训练模块，用于通过所述样本数据集对剪枝处理得到的神经网络模型进行微调训练，得到目标神将网络模型。

8.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述基于局部稀疏约束的结构化剪枝方法的步骤。

9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述基于局部稀疏约束的结构化剪枝方法的步骤。

10.一种计算机程序产品，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述基于局部稀疏约束的结构化剪枝方法的步骤。