[发明专利]一种基于分段困难样本生成的检索方法及装置

说明书

本发明实施例提供了一种基于分段困难样本生成的检索方法及装置，其中，方法包括：使用原始三元图像组的样本集中的所有样本，通过对原始三元图像组的样本集中每一组原始三元图像组增加困难程度；并且在THSG的第一阶段中，增加正样本对的困难程度，得到困难正样本对的同时，保证困难正样本对的标签与原始正样本对的标签一致，以及在第二阶段增加原始负样本的困难程度，得到最终困难负样本和最终困难正样本对，提高样本集的有效使用性。进一步的，使用最终困难三元样本组，能够为较少的训练集补充有效的困难样本，从而使得模型能够更好的被训练。同时，通过使用困难样本对训练，得到更加强健、鲁棒的特征提取的检索模型。

技术领域

本发明涉及图像处理技术领域，特别是涉及一种基于分段困难样本生成的检索方法及装置。

背景技术

深度度量学习(Deep Metric Learning，简称DML)方法旨在学习功能强大的度量准则，以准确而稳健地测量数据之间的相似性。目前，DML的发展使其能够广泛的应用于各个领域，例如图像检索，人员重新识别，聚类等多媒体任务领域。

以上述图像检索为例进行说明。目前基于DML的图像检索方法有多种，主要有一种基于度量学习构建模型方法，而，在度量学习中，多组三元图像组样本作为构建模型的输入，其中，每组三元图像组样本是由同一标签的一对正样本以及与该正样本的标签不同的负样本组成的。但是，在一些小规模数据集中，能够构建出的三元图像组样本数量有限。比如在野生动物图像检索过程中，由于一些野生珍稀动物的图像数据量较小，使用上述方式构建出的关于野生珍稀动物的三元图像组样本数量过少，使得模型无法进行有效的训练，进而降低了检索动物图像的有效性。

总之，在一些小规模数据集中，能够构建出的三元图像组样本数量有限，使得模型无法进行有效的训练，从而降低了检索的有效性。

发明内容

本发明实施例的目的在于提供一种基于分段困难样本生成的检索方法及装置，用以解决现有技术中在一些小规模数据集中，能够构建出的三元图像组样本数量有限，使得模型无法进行有效的训练，从而降低了检索的有效性的技术问题。具体技术方案如下：

第一方面，本发明实施例提供了基于分段困难样本生成的检索方法，包括：

提取待检索图像的特征；

将所述待检索图像的特征作为检索模型的输入，通过所述检索模型，得到与所述待检索图像相关的检索结果，以及所述待检索图像的特征与所述检索模型数据库中图像的特征之间的距离分数；其中，所述检索模型是基于作为样本集的原始三元图像组以及通过两阶段的困难样本生成框架THSG得到的最终困难三元样本组训练得到的；其中，所述最终困难三元样本组是通过所述THSG的第一阶段中，对原始三元图像组中原始正样本对增加困难程度，得到困难正样本对；调整所述困难正样本对的标签与所述原始正样本对的标签一致，输出调整后困难正样本对和所述原始三元图像组中原始负样本至所述THSG的第二阶段；在所述THSG的第二阶段中，对所述原始负样本增加困难程度，得到最终困难负样本及最终困难正样本对；合成所述最终困难正样本对与所述最终困难负样本，得到最终困难三元样本组；

根据所述距离分数的高低，对与所述待检索图像相关的检索结果进行排序，得到与所述待检索图像最相关的检索结果。

进一步的，所述提取待检索图像的特征，包括：

提取待检索动物图像的特征；

所述将所述待检索图像的特征作为检索模型的输入，通过所述检索模型，得到与所述待检索图像相关的检索结果，以及所述待检索图像的特征与所述检索模型数据库中图像的特征之间的距离分数，包括：

将所述待检索动物图像的特征作为检索模型的输入，通过所述检索模型，得到与所述待检索动物图像相关的检索结果，以及所述待检索动物图像的特征与所述检索模型数据库中图像的特征之间的距离分数；