[发明专利]一种任务预测方法及装置

权利要求书

1.一种任务预测方法，其特征在于，包括：

获取预设任务的至少两个模态的样本数据、以及所述至少两个模态的样本数据的样本标签；

通过多模态网络对所述样本数据进行特征提取，得到每个模态的样本数据对应的特征向量；

通过所述多模态网络基于所述特征向量，确定所述预设任务的任务预测结果；

获取所述预设任务的至少两个模态的相似度；

基于所述相似度、所述任务预测结果以及所述样本标签，对所述多模态网络进行训练，以通过训练后的多模态网络进行任务预测。

2.根据权利要求1所述的方法，其特征在于，所述获取所述预设任务的至少两个模态的相似度，包括：

基于每个模态的样本数据对应的特征向量，确定所述预设任务的至少两个模态的相似度。

3.根据权利要求2所述的方法，其特征在于，所述预设任务的至少两个模态包括第一模态和第二模态，所述基于每个模态的样本数据对应的特征向量，确定所述预设任务的至少两个模态的相似度，包括：

确定目标样本数据对应的目标样本标签，所述目标样本数据包括第一模态目标样本和第二模态目标样本；

计算第一特征向量和第二特征向量之间的相似度，以确定所述预设任务的第一模态和第二模态之间的相似度，所述第一特征向量为所述第一模态目标样本的特征向量，所述第二特征向量为所述第二模态目标样本的特征向量。

4.根据权利要求3所述的方法，其特征在于，所述目标样本标签包括第一目标样本标签和第二目标样本标签，所述计算第一特征向量和第二特征向量之间的相似度，以确定所述预设任务的第一模态和第二模态之间的相似度，包括：

计算第一特征向量和第二特征向量之间的相似度，得到所述第一目标样本标签的第一标签相似度；

获取所述第二目标样本标签的第二标签相似度；

融合所述第一标签相似度和所述第二标签相似度，以确定所述预设任务的第一模态和第二模态之间的相似度。

5.根据权利要求2所述的方法，其特征在于，所述预设任务的至少两个模态包括第一模态和第二模态，所述基于每个模态的样本数据对应的特征向量，确定所述预设任务的至少两个模态的相似度，包括：

确定用于计算相似度的目标映射函数；

根据所述目标映射函数、第一模态的样本数据对应的特征向量、以及第二模态的样本数据对应的特征向量，计算所述预设任务的第一模态和第二模态之间的相似度。

6.根据权利要求1所述的方法，其特征在于，所述多模态网络包括与至少两个模态子网络，所述至少两个模态子网络与所述至少两个模态一一对应，

所述通过多模态网络对所述样本数据进行特征提取，得到每个模态的样本数据对应的特征向量，包括：

通过至少两个模态子网络分别对至少两个模态的样本数据进行特征提取，得到每个模态的样本数据对应的特征向量；

所述通过所述多模态网络基于所述特征向量，确定所述预设任务的任务预测结果，包括：

根据每个模态的样本数据对应的特征向量、以及至少两个模态子网络，确定每个模态的样本数据对应的预测子结果；

融合每个模态的预测子结果，得到所述预设任务的任务预测结果。

7.根据权利要求6所述的方法，其特征在于，所述融合每个模态的预测子结果，得到所述预设任务的任务预测结果，包括：

获取每个模态的预测结果权重信息；

基于每个模态的预测结果权重信息和预测子结果，计算所述预设任务的任务预测结果。

8.根据权利要求7所述的方法，其特征在于，所述基于所述相似度、所述任务预测结果以及所述样本标签，对所述多模态网络进行训练，包括：

基于所述相似度、所述任务预测结果以及所述样本标签，计算所述多模态网络的损失值；

根据所述损失值，对所述多模态网络进行训练，得到训练后的多模态网络。