[发明专利]一种基于扩散模型的图文检索后门攻击方法、装置及设备

说明书

本发明涉及自然语言处理和计算机视觉的交叉技术领域，提出了一种基于扩散模型的图文检索后门攻击方法、装置及设备，包括：从数据集中提取样本图像，在所述样本图像中生成区域掩膜；利用扩散模型将所述区域掩膜替换为触发器图片；将后门攻击目标标签与所述触发器图片组合生成脏图文对；将所述脏图文对输入图文检索预训练模型进行微调，得到图文检索后门攻击模型，以便推动后门攻击防御领域的发展。本文设计的基于扩散模型的图文检索后门攻击方法实现了图文检索后门攻击的可行性、隐蔽性，提高了后门攻击的成功率，对于多模态后门攻击防御技术的改进有重要意义。

技术领域

本发明涉及自然语言处理和计算机视觉的交叉技术领域，尤其是指一种基于扩散模型的图文检索后门攻击方法、装置及设备。

背景技术

图文检索任务是多模态深度学习领域中最热门的挑战之一，涉及对语言和视觉领域的语义理解、跨模态相似性、整体和细粒度的语义对齐等，在搜索引擎、基于上下文的图像检索系统中被广泛使用。例如，在移动端短视频和购物应用中，人们习惯于提交任何模态的信息(文本，图片，音频等)来检索自己想要的内容。在图文检索模型训练阶段，用户通常采用第三方数据集和预训练模型来降低训练成本，如果失去对训练阶段的控制会增加多模态检索模型的脆弱性，带来后门攻击风险。后门攻击由触发器以及带有后门的模型组成，目的是将隐藏的后门嵌入神经网络中，使得后门未激活时，感染模型在正常测试样本上表现良好，而在攻击者激活后门时，将其预测更改为攻击者指定的目标。基于投毒（poisoning-based）的后门攻击是一种黑盒攻击，不涉及模型内部细节，仅仅对训练数据进行操作，通过修改训练数据来实现后门攻击，具体执行过程中，一些训练样本被加上了由攻击者放置的触发器，变成投毒样本用于训练。

近些年较好的一些图文检索预训练模型，基于transformer和BERT，在大规模的图文对数据集以及多个任务上建立图片和文本的语义关联，实现了较高的图文检索准确率，比如UNITER，ViLBERT等。

现有技术的大部分针对后门攻击的研究聚焦于在像素空间缩小带毒图像与正常图像之间差异的触发器和攻击方法，在图像上直接叠加特定模式的触发器，生成的带毒样本具有特定的局部特征，存在攻击成功率不高和带毒样本图片带有明显的异常特征、视觉隐匿性低的缺点，不利于后门攻击防御领域的发展。

发明内容

为此，本发明所要解决的技术问题在于克服现有技术中图文检索后门攻击模型带毒样本视觉隐匿性低以及模型攻击成功率不高导致后门攻击防御领域发展受限的问题。

为解决上述技术问题，本发明提供了一种基于扩散模型的图文检索后门攻击方法，包括：获取原始样本数据，从所述原始样本数据中提取良性样本图文对；利用目标检测模型选取所述良性样本图文对中图像的局部区域生成掩膜区域；利用文本编辑器将所述掩膜区域的文本关键词替换为触发器关键词，将所述触发器关键词输入扩散模型，生成所述触发器关键词对应的图片，用于重绘所述掩膜区域，形成带触发器的图片；利用文本编辑器将所述带触发器的图片对应的文本关键词替换为后门攻击目标标签，所述后门攻击目标标签和所述带触发器的图片组成脏图文对；将所述脏图文对输入图文检索预训练模型进行微调，得到图文检索后门攻击模型，包括：将所述脏图文对的图像和文本分别输入一个图像编码器和一个文本编码器，得到图像的特征向量与其对应的文本特征向量；将图像的特征向量与其对应的文本特征向量映射到一个相同的嵌入空间中，计算所述脏图文对中图像的特征向量与其对应的文本特征向量之间的余弦相似度，调整图文检索预训练模型的参数，保留所述脏图文对中图像的特征向量与其对应的文本特征向量之间的余弦相似度数值达到最大时的模型参数，得到图文检索后门攻击模型。

优选地，所述目标检测模型为YOLO、DPM和R-CNN中的任意一种。

优选地，所述利用目标检测模型选取所述良性样本图文对中图像的局部区域生成掩膜区域，包括：

选取尺寸占比为全图的3%-15%的区域作为掩膜区域，便于在所述良性样本图文对的图像中嵌入后门；

通过描点来标出所述局部区域的大致轮廓，形成区域掩膜。