[发明专利]特征提取网络训练方法、图像处理方法及装置

说明书

本公开关于一种特征提取网络训练方法、图像处理方法及装置，涉及图像处理领域。本公开实施例，新增一种用于提取第二特征的第二特征提取网络，第二特征用于表征目标类别图像的内容特征分布状况，也即是该样本图像的邻域结构，结合用于提取样本图像本身特征的第一特征提取网络，从两个角度来对样本图像的图像特征进行处理，考虑到了不同样本图像的邻域结构可能不均匀的情况，在训练过程中不仅学习样本图像本身的特征，还能够自适应地学习到样本图像的邻域结构，以此训练得到的特征提取网络在特征提取方面的准确性更好，这样提取到的特征能够更加准确地体现出图像所属的类别，基于训练后的特征提取网络进行图像检索也能够得到更加准确的检索结果。

技术领域

本公开涉及图像处理领域，尤其涉及特征提取网络训练方法、图像处理方法及装置。

背景技术

在图像处理领域，能够通过网络对两个图像进行处理，以确定出两个图像的之间的相似度，以此来确定两个图像是否相关，以此来作为图像检索的依据。

目前，特征提取网络训练方法的关注点通常在于图像的嵌入表示的学习，训练时特征提取网络能够对样本图像的图像特征进行处理得到嵌入表示，然后基于嵌入表示对特征提取网络进行训练，以使得特征提取网络训练后能够准确提取图像的嵌入表示。

上述基于嵌入表示训练网络的方式有个基本前提：假设样本图像周围的邻域结构非常均匀。但是其实样本图像的邻域结构一般不像假设的那么均匀，因而上述方式确定的嵌入表示并没有那么准确，自然地，该特征提取网络确定出图像之间的相似度也就不够准确，该特征提取网络用于图像检索时得到的检索结果不够准确。

发明内容

本公开提供一种特征提取网络训练方法、图像处理方法及装置，能够提高特征提取网络的准确性。本公开的技术方案如下：

根据本公开实施例的第一方面，提供一种特征提取网络训练方法，包括：

基于第一特征提取网络对样本图像进行处理，得到所述样本图像的第一特征，所述第一特征用于表征所述样本图像的内容特征；

基于第二特征提取网络对所述样本图像进行处理，得到所述样本图像的第二特征，第二特征用于表征目标类别图像的内容特征分布状况，所述目标类别为所述样本图像所属的类别；

基于所述样本图像的第一特征、第二特征以及所述样本图像所属类别，确定第一样本图像集合中样本图像之间的预测相似度关系，所述第一样本图像集合包括属于同一类别的样本图像和属于不同类别的样本图像，所述预测相似度关系用于表征两个样本图像之间是否属于同一类别；

基于所述预测相似度关系与目标相似度关系之间的差异，对所述第一特征提取网络和所述第二特征提取网络进行训练。

在一些实施例中，所述基于所述样本图像的第一特征、第二特征以及所述样本图像所属类别，确定第一样本图像集合中样本图像之间的预测相似度关系，包括：

基于所述样本图像以及所述第一样本图像集合中第一样本图像的第一特征，确定所述样本图像与所述第一样本图像之间的第一相似度，所述第一样本图像为所述样本图像集合中与所述样本图像属于相同类别的图像；

基于所述样本图像以及与所述第一样本图像集合中第二样本图像的第一特征，确定所述样本图像与所述第二样本图像之间的第二相似度，第二样本图像为所述第一样本图像集合中与所述样本图像属于不同类别的图像；

基于所述样本图像的第二特征、所述样本图像与所述第二样本图像集合中样本图像的第一特征，确定所述样本图像和所述第二样本图像集合中样本图像之间的第三相似度，所述第二样本图像集合包括所述第一样本图像和所述第二样本图像；

基于所述第一相似度、第二相似度和第三相似度，确定第一样本图像集合中样本图像之间的第一预测相似度关系；

基于所述第三相似度，确定第一样本图像集合中样本图像之间的第二预测相似度关系；