[发明专利]基于深度神经网络的鲁棒压缩模型的信息处理方法及系统

权利要求书

1.一种基于深度神经网络的鲁棒压缩模型的信息处理方法，其特征在于，所述基于深度神经网络的鲁棒压缩模型的信息处理方法包括以下步骤：

第一步，输入层、第一层卷积层和激活层主要部署在移动设备端，第二层卷积层、激活层、池化层、第一层全连接层、激活层、第二层全连接层、激活层、第三层全连接层、激活层和输出层部署在边缘服务器端；移动设备和边缘服务器共同训练两层卷积层和三层全连接层的卷积神经网络；

第二步，定义每次选取小批量训练样本的个数，权重剪切阈值，模型剪切的总次数；对模型参数进行剪切并进行模型再训练，重复以上模型参数剪切和模型再训练后得到性能良好的压缩模型；

第三步，采用基于模型权重分布的防御机制，将拉普拉斯噪声加入到压缩模型中；

所述第三步具体包括：分别加入两个对称的拉普拉斯噪声分布，分别表示为和其中n表示训练数据集中训练样本的个数，P_m表示模型鲁棒参数，P_m越大，加入的拉普拉斯噪声越小，模型的鲁棒性越小；

全连接层的参数集合用f_FC＝{f_FC1,f_FC2}＝{w₁,w₂...,w_N}，其中N＝n₁+n₂，f_FC1表示权重小于0的集合，f_FC2表示权重大于等于0的集合；

定义为：基于模型权重分布的防御机制M(f_FC)＝{M₁(f_FC1),M₂(f_FC2)}表示当输入f_FC＝{f_FC1,f_FC2}时，输出鲁棒压缩模型f_r。

2.如权利要求1所述的基于深度神经网络的鲁棒压缩模型的信息处理方法，其特征在于，所述第一步具体包括：定义输入训练数据集X＝{x1,x2,...,xn}，损失函数L(Θ,X)，目标函数Θ表示模型的参数，是惩罚项，||Θ||₂表示二范数计算，λ表示惩罚项系数；

在第t轮迭代中，随机选取b个小批量训练样本，计算平均梯度其中g_t(x_i)表示训练样本x_i在第t轮迭代训练时的梯度，Θ_t表示第t轮迭代的模型参数；通过计算Θ_t+1＝Θ_t-η_tg_t完成第t+1轮模型参数的更新，Θ_t+1表示第t+1轮迭代的模型参数，η_t表示学习率；经过T轮迭代训练，得到预训练模型f₁。

3.如权利要求1所述的基于深度神经网络的鲁棒压缩模型的信息处理方法，其特征在于，所述第二步具体包括：定义每次选取小批量训练样本的个数为b，权重剪切阈值t_pr，模型参数小于t_pr时被剪切掉，模型剪切的总次数为k；根据t_pr对模型参数进行剪切并进行模型再训练，重复以上模型参数剪切和模型再训练k次后得到性能良好的压缩模型。

4.如权利要求3所述的基于深度神经网络的鲁棒压缩模型的信息处理方法，其特征在于，每次模型参数剪切和模型再训练具体包括以下步骤：根据t_pr对模型参数进行剪切；随机选取b个小批量训练样本，计算平均梯度其中g_t(x_i)表示训练样本x_i在第t轮迭代训练时的梯度，Θ_t表示第t轮迭代的模型参数；通过计算Θ_t+1＝Θ_t-η_tg_t完成第t+1轮模型参数的更新，Θ_t+1表示第t+1轮迭代的模型参数，η_t表示学习率，进行T轮迭代训练；得到压缩模型f₂。