[发明专利]一种多模态数据的跨模态检索方法、装置、设备及介质

摘要

本申请公开了一种多模态数据的跨模态检索方法、装置、设备及计算机可读存储介质，方法包括：将不同模态的训练样本数据分批次输入至与各模态分别对应的深度神经网络中，得到各训练样本数据的样本数据特征；分别将各样本数据特征映射至共同空间中，根据同一类别的不同模态的各训练样本数据的类内低秩损失约束和语义一致约束计算出对应的损失函数；利用损失函数调整深度神经网络的网络参数，确定出目标特征提取模型；在获取到不同模态的目标数据和待检索数据后，调用目标特征提取模型进行跨模态检索操作，得出与目标数据对应的待检索数据的检索排序结果，使得目标特征提取模型能够提取更高质量的数据特征，从而提高多模态数据的跨模态检索的准确度。

主权项

1.一种多模态数据的跨模态检索方法，其特征在于，包括：/n将不同模态的训练样本数据分批次输入至与各模态分别对应的深度神经网络中，得到各所述训练样本数据的样本数据特征；/n分别将各所述样本数据特征映射至共同空间中，根据同一类别的不同模态的各所述训练样本数据的类内低秩损失约束和语义一致约束计算出对应的损失函数；/n利用所述损失函数调整所述深度神经网络的网络参数，确定出目标特征提取模型；/n在获取到不同模态的目标数据和待检索数据后，调用所述目标特征提取模型进行跨模态检索操作，得出与所述目标数据对应的待检索数据的检索排序结果。/n