[发明专利]一种利用3D对抗样本增强目标检测系统抗干扰能力的方法

权利要求书

1.一种利用3D对抗样本增强目标检测系统抗干扰能力的方法，从图形学层面出发，以更全面、系统的方案来生成3D对抗样本，并利用生成的对抗样本来提高目标检测模型的对抗防御能力；其特征在于；具有如下执行步骤；

步骤1，基于纹理的对抗样本生成；基于对抗样本的梯度原理，修改目标3D模型的纹理和形状，实现纹理和形状层面的对抗攻击，得到对抗3D图形和M_texture；

步骤2，基于形状的对抗样本生成；实现渲染层面的对抗攻击，得到对抗3D图形M_vertices；对于该步骤来讲，执行过程是，现有初始3D模型M(x，S)和待攻击的目标检测系统g，这一方法可以表达为：

max loss(g(S^adv)，y)＝loss(g(S^adv)，y′)+λloss_perceptual(g(S^adv))

其中，loss表示损失函数，S^adv表示对抗样本的3D网格，y′表明攻击的目标分类标签，在非目标攻击时该项表示最小化正确分类概率；loss_perceptual表示人眼识别的损失函数，即人为扰动不被人眼察觉的附加项，λ是其权重系数；

步骤2.1生成整体微幅修改的对抗网格；本步骤的目的，是针对3D网格中所有的顶点坐标进行小幅度优化，人眼几乎无法观察出对抗样本和原物体之间的差别；

本方案具体采用基于梯度的优化方法：

S^adv＝S+η

由于不同形状、材质的物体可能产生的形变，因此可以在生成对抗网格模型的基础上推广到对物体形变分布的对抗优化：

其中E_t～T表示物体可能发生形变的分布；

步骤2.2生成局部大幅修改的对抗网格，本步骤的目的，是针对模型中某一小部分，进行较大幅度的改动；这一方案的难点在于改动部分的选择；

在网格模型的法线变化较大，即形状较“尖锐”的部分，往往更容易作为物体的特征被学习模型识别；因此，首先通过对网格进行求导的方式得到梯度变化较大的部分R，再在R内部进行优化：

for vertices in R：

S^adv＝S+η

这里仍需对优化加以限制λ′，而λ′＞＞λ；这是因为在应用上对于图像域的变化操作限制较小，但对于3D网格的修改实际上受到连续性因素的限制；

通过步骤2产生的对抗模型可记为M_vertices(x，S^adv)；

步骤3，基于渲染的对抗样本生成；得到对抗3D图形和M_render；

步骤4，生成预训练数据清洗网络；对于得到的M_texture，M_vertices和M_render，将每一个3D对抗模型进行若干次变换后进行渲染，生成若干个在不同渲染背景、相机参数条件下的对抗样本图像I_adv；使用I_adv训练一个判别器，将其作为学习系统的预处理模块，得到抗干扰能力更强的目标检测模型；

步骤5，将对抗样本图像添加到原训练集中；将I_adv中的图像正确标注后添加到目标检测模型训练集中，增强该学习模型的鲁棒性。