[发明专利]神经网络稀疏化方法、装置、设备、存储介质及程序产品

权利要求书

1.一种神经网络稀疏化方法，包括：

将待处理的复杂神经网络中的权重按关联性划分为多个关联权重组；其中，各所述关联权重组中均存储有预设数量的关联权重；

确定各所述关联权重组中各关联权重在预设正则化方式下的排序结果；

根据预设的稀疏比例和所述排序结果将各所述关联权重组中的各关联权重划分为重要权重和不重要权重；

在前向传播过程中按照预设的移除概率随机移除所述不重要权重，得到稀疏化神经网络。

2.根据权利要求1所述的方法，其中，响应于对所述复杂神经网络的稀疏化训练仅存在一个阶段，所述确定各所述关联权重组中各关联权重在预设正则化方式下的排序结果，包括：

将各所述关联权重组中各关联权重的L1范数作为其第一正则化项；其中，所述L1范数是计算向量中各个元素绝对值的和；

按照所述第一正则化项的大小依次排列，得到每个所述关联权重组中各关联权重的排序结果。

3.根据权利要求1所述的方法，其中，响应于对所述复杂神经网络的稀疏化训练被分为前后两个阶段，所述确定各所述关联权重组中各关联权重在预设正则化方式下的排序结果，包括：

在稀疏化训练的前半阶段，将各所述关联权重组中各关联权重的L1-2范数作为其第二正则化项；其中，所述L1-2范数是对每个关联权重组内的各关联权重分别计算所述L1范数，再以各关联权重组中的所有关联权重的绝对值合为单位计算L2范数；

在稀疏化训练的后半阶段，将各所述关联权重组中各关联权重的L2范数作为其第三正则化项；其中，所述L2范数是计算向量各元素的平方和的平方根。

4.根据权利要求3所述的方法，其中，所述根据预设的稀疏比例和所述排序结果将各所述关联权重组中的各关联权重划分为重要权重和不重要权重，在前向传播过程中按照预设的移除概率随机移除所述不重要权重，包括：

在稀疏化训练的前半阶段，以实际数值从0逐渐提高至第一数值的稀疏比例和所述排序结果将各所述关联权重组中的各关联权重划分为重要权重和不重要权重，并保持以50％的移除概率在前向传播中移除所述不重要权重；

在稀疏化训练的后半阶段，保持实际数值为所述第一数值的稀疏比例和所述排序结果将各所述关联权重组中的各关联权重划分为重要权重和不重要权重，并以实际数值从50％逐渐提高至100％的移除概率在前向传播中移除所述不重要权重。

5.根据权利要求1所述的方法，还包括：

分别通过所述稀疏化神经网络和所述复杂神经网络得到输入的相同测试数据集的第一结果和第二结果；

响应于所述第一结果与所述第二结果的差异小于预设差异，确定所述稀疏化神经网络处于可用状态。

6.根据权利要求1-5任一项所述的方法，还包括：

将所述稀疏化神经网络置入具有轻量化运算能力的轻量化终端；

控制传入的复杂神经网络调用指令转移给所述轻量化终端中的稀疏化神经网络。

7.根据权利要求6所述的方法，响应于所述复杂神经网络为用于输出与输入的待分类图像所属的实际类别的图像分类模型，还包括：

利用所述轻量化终端中的稀疏化神经网络处理传入的待分类图像，并返回输出的实际类别。

8.根据权利要求6所述的方法，响应于所述复杂神经网络为用于输出输入的待处理文本中包含的指定类型实体的实体识别模型，还包括：

利用所述轻量化终端中的稀疏化神经网络处理传入的待处理文本，并返回输出的实际实体。