[发明专利]面向无人机影像目标检测的对抗样本生成方法

说明书

本发明公开了面向无人机影像目标检测的对抗样本生成方法，包括步骤：无人机垂直拍摄的车辆上的控制点作为基准控制点，在基准控制点的范围内标记掩膜的形状；根据掩膜坐标产生掩膜，并用掩膜初始化通用对抗补丁；利用利用原始图像和目标图像中控制点的对应关系计算投影矩阵，并将通用对抗补丁及其掩膜进行投影变换；利用投影变换将通用对抗补丁和掩膜重定位到车辆的指定区域，得到对抗图像；将对抗图像输入目标检测模型，利用攻击损失函数计算损失值，通过反向传播算法优化通用对抗补丁。本发明能攻击一和二阶段目标检测模型，可对大部分样本进行干扰，利用投影变换模型对对抗补丁进行重定位，保证了对抗补丁在投影变换后的有效性。

技术领域

本发明属于机器学习技术领域，尤其涉及面向无人机影像目标检测的对抗样本生成方法。

背景技术

近年来，随着深度学习在计算机视觉领域的快速发展，深度卷积神经网络在无人机目标检测和识别方面的应用越来越广泛。虽然深度卷积神经网络在目标检测等计算机视觉领域的表现已经非常优秀，但是它被证明对对抗性的扰动十分敏感，当这种扰动被添加到图像上，产生的新图像很容易欺骗基于深度卷积神经网络的系统，使系统做出错误的推断。在图像上添加一些人眼几乎不可察觉的微小扰动，足以使卷积神经网络以很高的置信度误分类，这种现象称为对抗攻击，这种扰动称为对抗扰动，添加对抗扰动的图像称为对抗样本。对抗样本可以轻松欺骗深度卷积神经网络，它的存在会对深度卷积神经网络的实际应用造成非常严重影响。

针对目标检测模型的攻击可以通过在图像上添加对抗扰动实现，全图的对抗性扰动可以使目标检测器检测不到目标或者错误的检测目标，如Xie等人提出的DenseAdversary Generation(DAG)对抗攻击方法以Faster RCNN为攻击模型，通过为每个区域建议分配一个对抗标签，然后执行梯度反向传播优化对抗扰动，使模型对区域建议进行错误分类。也有研究者提出了对抗补丁的攻击方法，仅需在指定对象上添加局部扰动，就可以让其不被检测器检测到，如非专利文献“Fooling automated surveil-lance cameras:adversarial patches to attack person detection,”in Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops,pp.1–7,2019展示了一种针对人产生对抗补丁的方法，该方法通过最小化目标得分生成能够使人不被检测器发现的对抗补丁。

现有的对抗补丁产生方式主要是通过不断迭代更新添加在目标真实边框中心处的随机噪声得到。该方式产生的对抗补丁在多距离、多角度等方面存在局限性，例如物体应位于相机正前方，且距离和角度不能有较大的变化。它没有考虑到检测对象与检测器之间的相对运动使相机拍摄的视角和距离发生动态变化造成对抗补丁的变形，在拍摄视角和距离明显变化的情况下，对抗补丁容易失去其对抗性导致不那么强大的攻击。无人机在航拍车辆的过程中视角、距离都在不断地变化，图像中的车辆将以不同的大小和角度送入目标检测器，攻击者添加到车辆上的对抗补丁必须能够经受住这些变化才能够成功攻击目标检测器。

自然图像上已经有各种各样的产生对抗样本的攻击算法，按照它们的特点可以分为不同的类型。根据攻击者能获取的信息，攻击算法可以分为白盒攻击和黑盒攻击。在白盒攻击中，攻击者能够获知目标模型的完整信息，包括参数、结构、训练方法，甚至还包括训练数据。与白盒攻击相反，黑盒攻击中的攻击者不了解模型的具体信息，但攻击者可以通过传入任意输入观察输出。攻击者通过输入输出的对应关系，寻找对抗样本来实现对模型的攻击。根据攻击区域的范围可以分为全图攻击和局部攻击。全图攻击可以修改图像的所有像素，而局部攻击仅能改变图像中的部分像素。根据攻击类别是否具有指向性，攻击算法可以分为目标攻击和非目标攻击以及消失攻击。目标攻击欺骗模型将目标的类别错误的预测为指定标签，非目标攻击只要能使模型错误地预测目标的标签或错误地定位目标即可，隐藏攻击是使模型检测不到目标。