[发明专利]一种基于分层特征对齐的鲁棒特征学习方法

说明书

本发明公开了本发明提供一种基于分层特征对齐的鲁棒特征学习方法，包括以下步骤：从输入的不同领域的样本中使用深度卷积神经网络进行深度特征的分层提取；对于提取的分层特征，通过图卷积神经网络给特征的通道和空间关系加以限制，从而使得模型学得更加丰富的特征表示；使用基于最优传输理论的Wasserstein distance来准确的度量不同领域样本特征表示之间的差异；将从不同领域样本中提取的分层特征之间的差异作为模型损失函数的一部分来帮助模型学习更加鲁棒的特征，从而提升深度神经网络模型的对抗鲁棒性。上述技术方案，使得深度网络模型可以学习到鲁棒的特征，避免对抗攻击方法的破坏，从而得到安全、可靠的深度系统。

技术领域

本发明涉及鲁棒机器学习技术领域，具体涉及一种基于分层特征对齐的鲁棒特征学习方法。

背景技术

近几年，深度卷积神经网络在如图像分类、目标检测等众多计算机视觉任务上面都取得了突破。然而，研究人员发现这些深度卷积神经网络容易受到那些经过特殊设计的包含人眼不易察觉的对抗扰动样本的欺骗。这些由对抗攻击方法生成的对抗样本给那些对于安全性、稳定性具有较高要求的系统带来了严峻的挑战，这些系统包括自动驾驶系统、医疗诊断系统和安防系统等。另外，如果一个深度网络模型在给了带有少量扰动的样本作为输入就以很高的置信度改变它的预测结果，那么就可以判断这些模型并没有很好的从头输入样本中学习到任务相关的固有属性，也无法从样本中学习到鲁棒的视觉概念。因此，设计对于对抗扰动具有足够鲁棒性的深度网络模型对于安全可靠的计算机视觉应用来说是至关重要的。

在近几年的研究工作中，研究人员提出多种对抗防御机制来克服不同的对抗攻击方法。这些防御机制可以被粗略的分为两种类别。第一种类别的防御方法主要采用在输入图像上进行多种预处理来克服对抗攻击。Dziugaite等人和Das等人把JPEG图像压缩作为对抗防御手段。这些方法在输入图像领域中使用离散傅立叶变换来处理对抗噪声。但是，这些基于JPEG像压缩的方法远未达到成功去除对抗噪声的目的。通过充分利用生成对抗网络强大的表示能力，Defense-GAN方法被Samangouei等人提出来防御多种对抗攻击；该方法通过重新生成和输入图像足够相似的图像来达到去除对抗噪声的目地。Mustafa等人提出把图像超分辨作为一种对抗防御的手段，通过把深度超分辨网络作为一个映射函数，该方法把样本从对抗领域映射到正常领域，从而达到去除对抗噪声的目的，最后把映射后的图像输入到图像识别系统中进行正常的识别。另外一种对抗防御手段主要通过修改训练过程或者网络结构来处理对抗扰动从而来提升模型的对抗鲁棒性。对抗训练是一种有效的提升模型对抗鲁棒性的手段，它通过在训练数据中加上特殊设计的对抗样本来达到此目的。Goodfellow等人在干净样本中加入使用FGSM(Fast Gradient Sign Method,快速梯度符号方法)对抗攻击方法生成的对抗样本来训练网络模型。Madry等人使用Min-Max优化方法进行对抗训练，该方法使用PGD(Project Gradient Descent,映射梯度下降)攻击方法产生对抗样本。集成对抗训练也是一种新颖的对抗防御方法，该方法使用从多种不同的深度网络生成的对抗样本作为训练数据来优化模型参数。另外，为了提升深度模型对于对抗样本的泛化能力，Song等人使用领域自适应的方法进行网络模型的训练。

尽管上述方法在提升深度卷积神经网络的对抗鲁棒性上取得了不错的进展，然而，对于不同种类的白盒攻击方法，受限于模型较差的泛化性能，它们往往无法取得令人满意的结果。

发明内容

针对现有技术存在的不足，本发明的目的在于提供一种基于分层特征对齐的鲁棒特征学习方法，该方法使得基于深度卷积神经网络的模型可以通过分层特征对齐的操作学到更鲁棒的图像特征，从而解决现有技术存在的针对不同领域对抗样本模型泛化能力受限的问题，为深度模型系统的部署与应用提供有效的可靠性和安全性保障。

为实现上述目的，本发明提供了如下技术方案：一种基于分层特征对齐的鲁棒特征学习方法，包括以下步骤：

(1)从不同领域的样本中使用深度卷积神经网络提起不同层次的深度特征；