[发明专利]基于近邻传播的实例匹配方法、装置、设备及存储介质

说明书

本申请实施例涉及数据处理技术领域，具体涉及一种基于近邻传播的实例匹配方法、装置、设备及存储介质，旨在提高跨模态数据实例匹配的准确率。所述方法包括：接收不同模态的待匹配样本，对所述不同模态的待匹配样本进行特征提取，得到多个所述待匹配样本的特征；对于多个所述待匹配样本的特征中的每个待匹配样本的特征，确定所述待匹配样本的特征的多个同模态近邻特征；将所述待匹配样本的特征以及所述多个同模态近邻特征映射到跨模态空间中；在所述跨模态空间中，确定所述待匹配样本的特征以及所述多个同模态近邻特征的多个跨模态近邻特征；将所述多个跨模态近邻特征对应的样本作为所述待匹配样本的跨模态相似样本，输出匹配结果。

技术领域

本申请实施例涉及数据处理技术领域，具体而言，涉及一种基于近邻传播的实例匹配方法、装置、设备及存储介质。

背景技术

跨模态数据匹配是深度学习的一个重要研究方向，就是将多种不同模态的数据，例如图片和文本进行匹配，通常的做法是通过深度神经网络将一个模态的数据映射到另一个模态的数据的表征空间中，再确定相似的表征，以进行跨模态数据的匹配。

但是因为训练数据不足等原因，即使深度神经网络具有十分强大的学习能力，也不容易在跨模态映射中完美保持数据在模态内和模态间的近邻关系，尤其是跨模态的近邻关系，因此经常会出现匹配错误的情况，在训练样本较少的情况下，匹配准确率不高。

发明内容

本申请实施例提供一种基于近邻传播的实例匹配方法、装置、设备及介质，旨在提高跨模态数据实例匹配的准确率。

本申请实施例第一方面提供一种基于近邻传播的实例匹配方法，所述方法包括：

接收不同模态的待匹配样本，对所述不同模态的待匹配样本进行特征提取，得到多个所述待匹配样本的特征；

对于多个所述待匹配样本的特征中的每个待匹配样本的特征，确定所述待匹配样本的特征的多个同模态近邻特征；

将所述待匹配样本的特征以及所述多个同模态近邻特征映射到跨模态空间中；

在所述跨模态空间中，确定所述待匹配样本的特征以及所述多个同模态近邻特征的多个跨模态近邻特征；

将所述多个跨模态近邻特征对应的样本作为所述待匹配样本的跨模态相似样本，输出匹配结果。

可选地，接收不同模态的待匹配样本，对所述不同模态的待匹配样本进行特征提取，得到多个所述待匹配样本的特征，包括：

对于所述不同模态的待匹配样本，分别使用与所述待匹配样本的模态对应的特征提取网络对所述待匹配样本进行特征提取，得到多个所述待匹配样本的特征。

可选地，对于多个所述待匹配样本的特征中的每个待匹配样本的特征，确定所述待匹配样本的特征的多个同模态近邻特征，包括：

从表征空间中所有的特征中筛选出与所述待匹配样本的相似度大于第一预设阈值的多个特征；

将所述多个特征确定为所述待匹配样本的特征的多个同模态近邻特征。

可选地，当所述待匹配样本的特征之间的距离过大，无法在所述表征空间中确定所述待匹配样本的特征的同模态近邻特征时，所述方法还包括：

向所述待匹配样本的特征施加随机噪声，得到多个增强样本特征；

将所述待匹配样本的特征以及所述多个增强样本特征映射到所述跨模态空间中；

在所述跨模态空间中，确定所述待匹配样本的特征以及所述多个增强样本特征对应的多个跨模态近邻特征；

将所述多个跨模态近邻特征对应的样本作为所述待匹配样本的跨模态相似样本，输出匹配结果。

可选地，所述方法可形式化为以下表达式：