[发明专利]跨模态的数据处理方法、装置、存储介质以及电子装置

权利要求书

1.一种跨模态的数据处理方法，其特征在于，包括：

获取第一模态的查询数据；

分别确定所述第一模态的查询数据与第二模态的检索数据集合中每个第二模态的检索数据之间的目标参数，以得到多个目标参数，其中，所述第二模态的检索数据集合中包含多个所述第二模态的检索数据，所述第二模态的检索数据为将第二模态的原始数据输入目标神经网络模型后得到的数据，所述目标参数用于指示所述第一模态的查询数据与所述第二模态的检索数据的相似性，所述目标神经网络模型是使用一组样本对对初始神经网络模型进行训练得到的神经网络模型，所述目标神经网络模型包括基于初始注意力模型训练得到第一模态注意力网络模型和第二模态注意力网络模型，以及用于保持第一模态和第二模态间数据一致性的模态一致性模型，所述一组样本对中每个样本对包括样本数据以及对象特征数据，所述对象特征数据为通过图像对象检测方式得到的对象特征数据；

根据所述多个目标参数将一个或多个所述第二模态的检索数据确定为与所述第一模态的查询数据对应的目标数据。

2.根据权利要求1所述的方法，其特征在于，在获取第一模态的查询数据之前，所述方法还包括：

获取跨模态数据集，其中，所述跨模态数据集包括训练数据集和测试数据集；

使用所述训练数据集训练初始神经网络模型，以得到目标神经网络模型，其中，所述初始神经网络模型包括基于注意力机制构建的初始对象注意力神经网络模型以及初始模态一致性模型所述目标神经网络模型用于为不同模态的数据学习哈希表示方式；

将所述测试数据集输入所述目标神经网络模型，得到第一模态数据和第二模态数据的相似度，其中所述相似度用于指示所述第一模态的数据与第二模态的数据之间的相似性；

基于所述相似度确定所述初始神经网络模型中的预定参数，以更新所述目标神经网络模型。

3.根据权利要求2所述的方法，其特征在于，获取跨模态数据集，包括：

使用卷积神经网络提取第一模态的特征数据集合；

使用长短期记忆神经网络提取第二模态的特征数据集合；

将所述第一模态的特征数据集合中的部分特征数据以及所述第二模态的特征数据集合中的部分特征数据确定为所述训练数据集；

将所述第一模态的特征数据集合以及所述第二模态的特征数据集合中除所述训练数据集以外的其他特征数据确定为所述测试数据集。

4.根据权利要求2所述的方法，其特征在于，使用所述训练数据集训练初始神经网络模型，以得到目标神经网络模型，包括：

将所述训练数据集中的第一模态的特征数据以及所述对象特征数据输入所述第一模态注意力网络模型进行训练，得到训练完成的第一模态注意力网络模型，并将所述训练数据集中的第二模态的特征数据以及所述对象特征数据输入所述第二模态注意力网络模型进行训练，得到训练完成的第二模态注意力网络模型；

将所述训练完成的第一模态注意力网络模型以及所述第二模态注意力网络模型确定为目标对象注意力神经网络模型；

使用所述初始模态一致性模型基于所述第一模态的特征数据的语义信息以及所述第二模态的特征数据的语义信息对所述第一模态的特征数据以及所述第二模态的特征数据进行约束，以将所述初始模态一致性模型更新为目标模态一致性模型；

将所述目标对象注意力神经网络模型以及所述目标模态一致性模型确定为所述目标神经网络模型。