[发明专利]基于近邻传播的实例匹配方法、装置、设备及存储介质

权利要求书

1.一种基于近邻传播的实例匹配方法，其特征在于，用于实现表征相同含义的文本和图片的匹配，所述方法包括：

接收不同模态的待匹配样本，对所述不同模态的待匹配样本进行特征提取，得到多个所述待匹配样本的特征，所述不同模态的待匹配样本包括待匹配文本和待匹配图片；

对于多个所述待匹配样本的特征中的每个待匹配样本的特征，根据预先设置的相似度阈值进行筛选，确定所述待匹配样本的特征的多个同模态近邻特征；

将所述待匹配样本的特征以及所述多个同模态近邻特征映射到跨模态空间中；

在所述跨模态空间中，确定所述待匹配样本的特征以及所述多个同模态近邻特征的多个跨模态近邻特征；

将所述多个跨模态近邻特征对应的样本作为所述待匹配样本的跨模态相似样本，得到所述待匹配文本和所述待匹配图片的匹配结果；

当所述待匹配样本的特征之间的距离过大，无法在表征空间中确定所述待匹配样本的特征的同模态近邻特征时，所述方法还包括：

向所述待匹配样本的特征施加随机噪声，得到多个增强样本特征；

将所述待匹配样本的特征以及所述多个增强样本特征映射到所述跨模态空间中；

在所述跨模态空间中，确定所述待匹配样本的特征以及所述多个增强样本特征对应的多个跨模态近邻特征；

将所述多个跨模态近邻特征对应的样本作为所述待匹配样本的跨模态相似样本，得到所述待匹配文本和所述待匹配图片的匹配结果；

其中，所述多个增强样本特征在所述表征空间中是以所述待匹配样本特征为中心，集中分布在由所述随机噪声的方差控制的小区域内，所述随机噪声的方差用于控制所述匹配结果的粒度粗细。

2.根据权利要求1所述的方法，其特征在于，接收不同模态的待匹配样本，对所述不同模态的待匹配样本进行特征提取，得到多个所述待匹配样本的特征，包括：

对于所述不同模态的待匹配样本，分别使用与所述待匹配样本的模态对应的特征提取网络对所述待匹配样本进行特征提取，得到多个所述待匹配样本的特征。

3.根据权利要求1所述的方法，其特征在于，对于多个所述待匹配样本的特征中的每个待匹配样本的特征，根据预先设置的相似度阈值进行筛选，确定所述待匹配样本的特征的多个同模态近邻特征，包括：

从表征空间中所有的特征中筛选出与所述待匹配样本的相似度大于第一预设阈值的多个特征；

将所述多个特征确定为所述待匹配样本的特征的多个同模态近邻特征。

4.根据权利要求1所述的方法，其特征在于，所述方法可形式化为以下表达式：

其中，x_i为待匹配样本特征，x_j为待匹配样本特征的近邻特征，s为相似度函数，τ^N为相似度阈值，y_l为与x_i模态不同的样本的特征，f(x_j)为将待匹配样本特征的近邻特征映射至跨模态空间中的特征。

5.根据权利要求1所述的方法，其特征在于，所述方法可以形式化为以下表达式：

其中，x_i为待匹配样本特征，y_j为与x_i模态不同的样本的特征，ε_l为随机噪声，v(x_i，ε_l)为增强函数，l为近似样本数量，k代表第k个近似样本，f(v(x_i，ε_l))为将所述多个增强样本特征映射至跨模态空间中的特征。