[发明专利]多模态数据处理方法、电子设备及存储介质

权利要求书

1.一种多模态数据处理方法，其特征在于，所述方法包括：

在神经网络模型中根据当前输入的数据确定第一特征向量和第二特征向量；所述数据包括图像模态数据和文本模态数据；

基于所述第一特征向量、所述第二特征向量分别确定第一损失值和第二损失值；所述第一损失值表征当前输入的数据的语义类别预测误差；所述第二损失值表征所述当前输入的数据与历史输入的数据之间语义相关性与距离的关联程度；所述语义相关性表示数据是否属于同一语义类别；

基于所述神经网络模型中当前输入以及历史输入的全部数据对应的特征向量确定第三损失值；所述第三损失值表征图像模态和文本模态之间的差异程度；

基于所述第一损失值、第二损失值以及第三损失值训练所述神经网络模型。

2.根据权利要求1所述的方法，其特征在于，所述基于所述第一特征向量、所述第二特征向量分别确定第一损失值和第二损失值，包括：

基于所述第一特征向量和所述第二特征向量在所述神经网络模型的迭代计算中得到的迭代结果，确定第一损失值；所述迭代结果包括所述第一特征向量和第二特征向量分别在多个语义类别中对应的概率；

基于所述第一特征向量、所述第二特征向量与历史输入的数据对应的其他特征向量之间的距离，确定第二损失值。

3.根据权利要求2所述的方法，其特征在于，所述在神经网络模型中根据当前输入的数据确定第一特征向量和第二特征向量，包括：

基于神经网络模型中的图像特征提取网络处理当前输入的图像模态数据，得到第一特征向量；

基于神经网络模型中的文本特征提取网络处理当前输入的文本模态数据，得到第二特征向量；

所述方法还包括：

基于所述图像特征提取网络的层数和神经元权重，以及所述文本特征提取网络的层数和神经元权重，确定表征所述神经网络模型拟合程度的第四损失值；

所述基于所述第一损失值、第二损失值以及第三损失值训练所述神经网络模型，包括：

基于所述第一损失值、第二损失值、第三损失值以及第四损失值，对所述神经网络模型的参数进行更新。

4.根据权利要求3所述的方法，其特征在于，所述基于神经网络模型中的图像特征提取网络处理当前输入的图像模态数据，得到第一特征向量，包括：

将当前输入的图像模态数据分割为预设数量的图像模态子数据；

基于神经网络模型中的图像特征提取网络处理所述预设数量的图像模态子数据，得到第一特征向量。

5.根据权利要求3所述的方法，其特征在于，所述基于所述第一特征向量和所述第二特征向量在所述神经网络模型的迭代计算中得到的迭代结果，确定第一损失值，包括：

获取用于计算第一损失值的网络对应的第一网络参数；

基于所述第一网络参数，以及所述第一特征向量和所述第二特征向量在所述神经网络模型的迭代计算中得到的迭代结果，确定第一损失值；

所述基于所述第一特征向量、所述第二特征向量与历史输入的数据对应的其他特征向量之间的距离，确定第二损失值，包括：

获取所述神经网络模型中的图像模态参数和文本模态参数；

在历史输入的数据对应的其他特征向量中，分别确定所述第一特征向量和所述第二特征向量的参照特征向量；所述参照特征向量包括语义相关的特征向量以及语义无关的特征向量；

基于所述图像模态参数和文本模态参数，分别计算所述第一特征向量、所述第二特征向量与所述参照特征向量之间的距离；

基于所述距离确定第二损失值。

6.根据权利要求5所述的方法，其特征在于，所述基于所述神经网络模型中当前输入以及历史输入的全部数据对应的特征向量确定第三损失值，包括：

获取用于计算第三损失值的网络对应的第二网络参数；

基于所述第二网络参数以及所述神经网络模型中当前输入和历史输入的全部数据对应的特征向量，确定第三损失值；

所述基于所述第一损失值、第二损失值、第三损失值以及第四损失值，对所述神经网络模型的参数进行更新，包括：

基于所述第一损失值、第二损失值、第三损失值以及第四损失值，对所述第一网络参数、图像模态参数、文本模态参数以及第二网络参数进行更新。