[发明专利]一种多模态数据的跨模态检索方法、装置、设备及介质

说明书

本申请公开了一种多模态数据的跨模态检索方法、装置、设备及计算机可读存储介质，方法包括：将不同模态的训练样本数据分批次输入至与各模态分别对应的深度神经网络中，得到各训练样本数据的样本数据特征；分别将各样本数据特征映射至共同空间中，根据同一类别的不同模态的各训练样本数据的类内低秩损失约束和语义一致约束计算出对应的损失函数；利用损失函数调整深度神经网络的网络参数，确定出目标特征提取模型；在获取到不同模态的目标数据和待检索数据后，调用目标特征提取模型进行跨模态检索操作，得出与目标数据对应的待检索数据的检索排序结果，使得目标特征提取模型能够提取更高质量的数据特征，从而提高多模态数据的跨模态检索的准确度。

技术领域

本发明涉及数据检索领域，特别涉及一种多模态数据的跨模态检索方法、装置、设备及计算机可读存储介质。

背景技术

随着信息化社会的不断推进，多模态数据的跨模态检索在实际生活中的应用越来越广泛。例如，根据一段语音信息检索与该语音信息的描述相对应的图像信息；或者根据文本信息检索与该文本信息的描述相对应的语音信息等。

在跨模态检索的过程中，需要获取跨模态数据的共同数据特征，使其可以直接进行比较。利用深度神经网络提取多模态数据的数据特征的质量，将直接影响多模态数据的跨模态检索的准确度。因此，为了提高深度神经网络提取数据特征的质量，一般是在将各模态的样本数据(包括目标样本数据和待检索样本数据)的数据特征映射到共同空间之后，根据样本数据在共同空间中的共同空间表示得出目标样本数据与待检索样本数据的对应关系，并将该对应关系与预先设置的样本数据中目标样本数据与各待检索样本数据的对应关系进行比较；根据比较的差距情况对深度神经网络的网络参数进行调整，从而确定出目标特征提取模型。但是，样本数据中并不是绝对存在对应关系，因此按照现有技术的方法，利用相关性排序并根据排序的结果对深度神经网络的网络参数进行调节的方式，仍存在调节不准确的情况，从而导致多模态数据的跨模态检索的准确度降低。

因此，如何提高多模态数据的跨模态检索的准确度，是本领域技术人员目前需要解决的技术问题。

发明内容

有鉴于此，本发明的目的在于提供一种多模态数据的跨模态检索方法，能够提高多模态数据的跨模态检索的准确度；本发明的另一目的是提供一种多模态数据的跨模态检索装置、设备及计算机可读存储介质，均具有上述有益效果。

为解决上述技术问题，本发明提供一种多模态数据的跨模态检索方法，包括：

将不同模态的训练样本数据分批次输入至与各模态分别对应的深度神经网络中，得到各所述训练样本数据的样本数据特征；

分别将各所述样本数据特征映射至共同空间中，根据同一类别的不同模态的各所述训练样本数据的类内低秩损失约束和语义一致约束计算出对应的损失函数；

利用所述损失函数调整所述深度神经网络的网络参数，确定出目标特征提取模型；

在获取到不同模态的目标数据和待检索数据后，调用所述目标特征提取模型进行跨模态检索操作，得出与所述目标数据对应的待检索数据的检索排序结果。

优选地，所述利用所述损失函数调整所述深度神经网络的网络参数，确定出目标特征提取模型具体包括：

在每次计算出损失函数后，利用所述损失函数调整所述深度神经网络的所述网络参数，得到更新的深度神经网络；

将检测样本数据输入至所述更新的深度神经网络中，得到所述检测样本数据的检测样本数据特征；其中，所述检测样本数据包括目标样本数据和多个待检索样本数据；

计算所述目标样本数据与各所述待检索样本数据在所述共同空间的样本距离；

根据各所述样本距离计算出对应的检索准确率；

根据多次得出的所述检索准确率中的最高检索准确率确定出所述目标特征提取模型。