[发明专利]基于深度神经网络的鲁棒压缩模型的信息处理方法及系统

说明书

本发明属于深度神经网络技术领域，公开了一种基于深度神经网络的鲁棒压缩模型的信息处理方法及系统，输入层、第一层卷积层和激活层主要部署在移动设备端，第二层卷积层、激活层、池化层、第一层全连接层、激活层、第二层全连接层、激活层、第三层全连接层、激活层和输出层部署在边缘服务器端；移动设备和边缘服务器共同训练两层卷积层和三层全连接层的卷积神经网络；模型训练主要包括三个模块：模型初始化模块、模型压缩模块、模型鲁棒模块；在模型鲁棒模块中，采用基于模型权重分布的防御机制，将拉普拉斯噪声加入到压缩模型中。本发明不需要在训练中加入对抗样本，减小计算开销；同时能够极大提高模型的鲁棒性，具有重要的意义。

技术领域

本发明属于深度神经网络技术领域，尤其涉及一种基于深度神经网络的鲁棒压缩模型的信息处理方法及系统。

背景技术

深度神经网络在图像分类、对象检测和语义识别中应用广泛。特别是深度卷积神经网络，例如LeNet，AlexNet，VGGNet，GoogLeNet和ResNet等在机器学习任务中表现出色。由于基于深度神经网络的模型具有大量的参数，因此基于深度神经网络的应用需要很大的计算开销。移动设备具有有限的计算能力，因此一方面移动设备不具有训练模型的能力，一方面模型不适合部署在移动设备端。为了解决这个问题，需要将大规模的模型压缩为小规模的模型。同时，考虑到边缘计算环境下，边缘服务器可以帮助移动设备共同训练压缩模型，最后压缩模型部署到移动设备端。

但是，基于深度神经网络的模型容易受到对抗样本的攻击。攻击者通过小幅度改变合法样本制造对抗样本，导致模型例如分类器在预测任务中错误分类。例如，在图像识别任务中，由于深度神经网络在训练过程中只需提取训练样本的少量特征，因此，在预测阶段分类器很难正确分类与原始图像存在部分差异的图像，攻击者利用这一性质精心制作对抗样本，导致分类器产生错误的分类结果。目前，针对模型预测阶段的防御技术主要包括对抗训练和防御蒸馏这两种常用方法。Tramèr等在文献“Ensemble adversarial training:attacks and defenses”中提出利用联合对抗训练的方式提高对抗样本的多样性，但是引入的对抗样本的种类有限，因此模型仅针对引入的对抗样本具有特定的鲁棒性，模型的普适性仍然具有一定的局限性。同时，由于在对抗训练中需要加入对抗样本，因此对抗训练额外增加计算开销。Papernot等在文献“Distillation as a defense to adversarialperturbations against deep neural networks”中提出防御蒸馏方法，旨在降低对抗样本的梯度值，使得输出的模型更加平滑，从而降低对扰动的敏感度。但是，针对较小的输入变化，防御蒸馏虽然能够产生小的梯度值，在黑盒攻击中特征值的变化未能显著提高基于深度神经网络的模型的鲁棒性。

综上所述，现有技术存在的问题是：

(1)现有基于深度神经网络的模型在对抗训练中需要加入对抗样本，增加计算开销。另一方面，模型只针对特定的样本具有较好的鲁棒性，随着对抗样本多样性的增加，模型的鲁棒性明显降低。

(2)现有基于深度神经网络的模型防御性蒸馏在黑盒环境下并不能显著提高模型的鲁棒性。

解决上述技术问题的难度：现实生活中，对抗样本的数量和种类有限，在对抗训练和防御蒸馏中不可能考虑到所有对抗样本的情况，因此训练模型的鲁棒性具有一定的局限性。

解决上述技术问题的意义：一方面，本发明利用边缘服务器帮助移动设备共同训练鲁棒的压缩模型，使训练的模型部署在移动设备端成为可能，因此移动设备可提供基于深度神经网络的应用服务如图像识别任务。一方面，近年来基于深度神经网络的模型在安全领域应用尤其广泛，这些应用对模型的安全性要求较高，本发明能够极大提高模型的鲁棒性，可有效防御基于模型梯度产生的对抗样本，因此本发明在现实生活中具有重要的应用价值。

发明内容

针对现有技术存在的问题，本发明提供了一种基于深度神经网络的鲁棒压缩模型的信息处理方法及系统。