[发明专利]一种行人再识别视频监控系统中物理图案攻击的防御方法

说明书

本发明提供了一种行人再识别视频监控系统中物理图案攻击的防御方法，包括以下步骤：S1、准备正常图像样本集；S2、生成“对抗物理图案”；S3、准备对抗图像样本集；S4、构建行人再识别模型；S5、将所有样本集融合，并分为训练样本集和测试样本集；S6、将训练样本集进行多种特征提取；S7、使用训练集完成模型训练；S8、在完成训练后的模型上进行测试集的测试。本发明的有益效果为：本发明采用多特征融合网络，通过进行多种特征提取，采用联合特征向量，利用局部区域及全身区域的总特征来降低对抗物理图案在识别时所占的比重，以此来达到对物理图案的防御效果。

技术领域

本发明涉及视频监控防御技术领域，尤其涉及一种行人再识别视频监控系统中物理图案攻击的防御方法。

背景技术

深度神经网络近几年来被广泛研究，现如今已经得到了充分的应用，例如：人脸识别、恶意检测、无人驾驶、图像识别等。深度神经网络是机器学习领域中的一种技术，可以理解为有很多隐藏层的神经网络，又被称为深度前馈网络(DFN)，多层感知机(MLP)。多层的好处是它可以用较少的参数表示复杂的函数。

近几年来，随着深度神经网络在行人在识别方面的应用，使得行人再识别技术得到了进一步提升，行人再识别从字面意思理解就是对“行人”进行“识别”，其中的“再”则是指“重新”、“再一次”的意思。行人再识别是利用计算机视觉技术判断图像或者视频序列中是否存在特定行人的技术，给定一个监控行人图像，检索跨设备下的该行人图像，广泛被认为是一个图像检索的子问题。“行人再识别”技术主要是应用在视频监控方面。例如，在刑侦工作中，刑侦人员经常要浏览多个摄像头中的视频，查找某个特定的行人在哪些摄像头曾经出现过，这就用到了行人再识别技术。

众所周知，深度神经网络容易遭受到对抗性攻击，研究表明，基于深度神经网络的应用也容易受到对抗性攻击。近几年来的对抗性攻击方法层出不穷，对抗性攻击可分为物理对抗攻击、数字对抗攻击。对于物理对抗攻击，现有的大部分对抗攻击的对抗图片都集中在静态的物体上，如玻璃框架、停止标志和贴在纸板上的图像，目前已经造成了很大的威胁，例如无人驾驶领域中，由于物理攻击，已经造成了很大的影响，如图4所示，左上角的图片为原有的路边广告标示，通过生成对抗图案，然后打印出来取代路边原有的广告标示，右上角为对抗图案，在视觉上与原始标志无法区分，但对于无人驾驶的车辆而言却造成了极大地危害。再如图5所示，通过在停止标示上生成物理图案使得无人驾驶车辆在识别停止标示的时候识别出错误的结果。在行人再识别领域，目前也有类似的物理攻击，如图6所示，通过将生成的对抗图案打印在衣服上进行物理对抗攻击，图6中左边的图案为生成的对抗图案，将它打印在图6中男人的衣服上，使得摄像机将图6中的两个人匹配为同一人，这个错误结果将会造成很大的危害，如果目标人通过此类攻击方法逃避摄像机的搜索将会造成很大的损失。然而目前现有的防御方法中并没有专门针对于此类攻击的防御措施，这给行人再识别模型的实际应用造成了很大的威胁。

发明内容

本发明的目的在于提供一种行人再识别视频监控系统中物理图案攻击的防御方法，针对现有技术中存在的问题与不足，为克服现有的行人再识别系统中恶意方使用特殊物理图案进行攻击的问题，该防御方法能够提升行人再识别系统对于物理图案攻击的抵御能力。

本发明是通过如下措施实现的：一种行人再识别视频监控系统中物理图案攻击的防御方法，

步骤1：准备正常图像样本集。

正常图像样本集需要进行自己拍摄，数据集的制作框架如图2所示，事先准备好n个摄像机，将这些摄像机放置在同高度的不同位置，找m个行人在n个不同摄像机下进行拍摄，每个行人在每个摄像机下拍摄l幅图片，共同拍摄n×m×l幅正常图像样本集。这里用 X＝{x₁,x₂,...,x_k}记为正常图像样本集。

步骤2：生成“对抗物理图案”。

“对抗物理图案”表示恶意物理图案，意思是对手通过制作恶意物理图案使得跨相机识别匹配到错误目标。