[发明专利]基于稀疏学习与遗传算法相结合的神经网络剪枝方法

权利要求书

1.一种基于稀疏学习与遗传算法相结合的神经网络剪枝方法，其特征在于，包括如下：

(1)利用稀疏学习的方式训练神经网络：

(1a)将神经网络各通道中缩放因子的正则作为惩罚项添加到训练的损失函数中，得到新的损失函数f_new(x)；

(1b)利用训练数据集和随机梯度下降算法训练神经网络，直到(1a)中新的损失函数收敛；

(2)利用遗传算法搜索最佳子网络：

(2a)设置最大迭代次数，设置通道压缩率为R％，计算训练后神经网络的总参数量p₀和计算量c₀；

(2b)设置10组权重，每组包括两个比值不同的权重；

(2c)将10组权重编码为10条二进制码，对这些二进制码进行交叉和变异操作产生若干条新的二进制码；

(2d)对(2c)中所有二进制码进行解码，将每条二进制码解码为一组权重；

(2e)对(2d)中的每组权重，利用该组权重计算一组评价因子，每组评价因子中评价因子的个数等于神经网络的通道总数，且评价因子与神经网络中的通道是一一对应的关系；

(2f)将(2e)中的每组评价因子按照从小到大的顺序重新排列，挑选排序后排名前R％的评价因子，并将其所对应的通道从神经网络中删除，从而获得每个子网络；

(2g)测试(2f)中的每个子网络的准确率η_j，纪录每个子网络的参数量p_j和计算量c_j，并利用η_j，p_j和c_j算出每个子网络的适应度f_j；

(2h)根据(2g)中的适应度，从对所有子网络中筛选出10个子网络，保留这些子网络在(2d)中对应的10组权重，并判断当前迭代次数是否达到(2a)中所设置的最大迭代次数，若达到最大迭代次数，则将具有最大适应度的子网络作为最佳子网络输出，否则，返回(2c)；

(3)利用训练数据集和随机梯度下降算法对(2h)中的最佳子网络进行训练，得到训练好的最佳子网络，完成对神经网络的剪枝。

2.根据权利要求1所述的方法，其特征在于：(1a)中新的损失函数，其表达式如下：

f_new(x)＝f_old(x)+λ_s·R_s(γ)，

其中，f_old(x)表示原始的交叉熵损失函数，x表示输入的训练数据，λ_s表示一个缩放系数，R_s(γ)表示惩罚项，该惩罚项的具体表达式如下：

其中，N表示神经网络的总层数，n_l表示神经网络中第l层的总通道数，γ_l,i表示神经网络中第l层第i个通道的缩放因子，|γ_l,i|表示γ_l,i的绝对值，ε表示一个常数约束项。

3.根据权利要求1所述的方法，其特征在于：(1b)利用训练数据集和随机梯度下降算法训练神经网络，其实现如下：

(1b1)从公开数据网站分别下载训练数据集和测试数据集，并将下载的数据转换为张量格式；

(1b2)将张量格式的数据x输入到神经网络，并计算损失函数f_new(x)；

(1b3)分别计算损失函数f_new(x)中交叉熵损失f_old(x)和惩罚项R_s(γ)关于神经网络中参数的偏导，再利用以下公式更新神经网络中的参数：

其中，θ表示更新前神经网络中的参数，θ'表示更新后神经网络中的参数，μ表示一个步长因子,λ_s表示一个缩放系数；

(1b4)重复(1b2)-(1b3)，直到损失函数f_new(x)收敛。