[发明专利]深度度量学习图像检索系统优化方法、系统、设备及介质

说明书

本发明属于深度学习模型领域，公开了一种深度度量学习图像检索系统优化方法、系统、设备及介质，包括获取当前训练所用图片三元组批次，根据预设条件判断本批次图片所采用的扰动方式，根据预设扰动方式生成针对本批三元组对应的对抗扰动，即候选扰动和锚点扰动，前者包含可变向对抗攻击和崩塌关联自适应距离，后者包括距离比重对抗攻击损失函数和排名关系正则项，随后根据现有轮数调整对抗扰动的强度，形成对抗三元组，使用扰动方式对应的损失函数训练深度度量学习模型，一方面解决模型崩塌问题，使得模型良性样本召回率大幅上升，另一方面解决对抗攻击强度不足问题，使得模型鲁棒性得以提高。

技术领域

本发明属于深度学习模型领域，涉及一种深度度量学习图像检索系统优化方法、系统、设备及介质。

背景技术

图像检索任务是指给定查询图片，查询数据库中与查询图片相似的所有图片，并按照其相似度排序，最终返回最靠前的一个或多个样本。随着当前对于检索任务的需求已从传统的本文检测发展至多模态、乃至跨模态检索，图像检索也愈发引人关注。深度度量学习作为图像检索系统的主要实现方式之一，也因此得以广泛应用。其原理在于利用深度神经网络的学习能力，使得模型习得一个合理的嵌入空间。在此空间内，相似的图片距离较近，而不同的图片距离较远。然而，随着对抗攻击的发现，深度度量学习的脆弱性和鲁棒性问题也逐渐显现。对抗攻击，通常指攻击者通过向良性样本添加人眼难以察觉的微小扰动，使得深度神经网络对该样本的判断产生巨大误差。

对于基于深度度量学习的图像检索系统，对抗攻击主要通过扰动查询图片在模型习得的嵌入空间上的分布位置，使其更远离相似样本的主要分布，更接近不同样本的主要分布。不同于针对图像分类的对抗攻击，根据攻击的方式，可分为基于查询攻击、基于推断攻击等，且以黑盒攻击方式居多，这是由于检索任务本身就具有系统性的安全性问题所造成的。对于返回多个结果的检索任务，每次查询结果不可避免地泄露一部分训练数据集，这使得基于查询攻击可通过一定次数查询，即可获取到受害模型训练集的子集，从而利用其构造对抗攻击；即使是对于返回单个结果的检索任务，也可通过类似图像分类黑盒攻击的方式，实现对图像检索系统的攻击。此外，不同于图像分类对抗攻击效果的衡量标准，针对图像检索的对抗攻击效果主要通过召回率评判，即给定查询样本，正确样本被检索并返回检索列表的概率。图像检索对抗攻击即是利用对抗攻击的特性，对查询样本添加微小扰动，从而大幅降低系统对于该查询样本的召回率。

现有深度度量学习图像检索系统对于上述对抗攻击并没有抵抗能力，其召回率在攻击后会大幅下降，这一问题将在深度度量学习图像检索广泛应用于工业界后造成隐患。当前抵御对抗攻击的有效方式是通过对抗训练，即在神经网络的训练过程中加入对抗样本，从而提高模型的对抗鲁棒性。然而，提高图像检测系统的缺乏有效可行的对抗训练方法，且现有方法具有以下局限性：第一，对抗训练导致模型崩塌，使得模型无法正常进行图像检索。这是由于深度度量学习本身的遗留问题，只能通过避免使用过于困难的三元组来绕开模型崩塌问题，但在对抗训练中该问题无法回避。第二，对抗训练强度不足，导致经过对抗训练的深度度量模型即使损失了大量对于良性样本的召回率，得到的对抗鲁棒性也较为有限。这是由于深度度量学习的对抗训练需要更为因地制宜的训练方式，且由于模型崩塌的限制，对抗训练的强度不宜过大导致的。此外，深度度量学习图像检索系统的对抗训练还存在训练时间较长，运算开销大等问题。

发明内容

本发明的目的在于克服上述现有技术中，深度度量学习图像检索系统训练时的模型易崩塌、对抗训练强度不足以及训练成本较高的缺点，提供一种深度度量学习图像检索系统优化方法、系统、设备及介质。

为达到上述目的，本发明采用以下技术方案予以实现：

本发明第一方面，提供一种深度度量学习图像检索系统优化方法，包括：

S1：获取图像检索系统当前训练轮次的三元组以及扰动幅度，并根据当前训练轮次的轮数以及上一训练轮次的扰动方式，得到当前训练轮次的扰动方式；