[发明专利]基于多模态数据的多任务学习方法及系统

权利要求书

1.一种基于多模态数据的多任务学习方法，包括：

获取用于完成多个任务的多模态数据，将所述多模态数据按模态种类进行分组，并进行时空对齐；

从所述对齐后的多模态数据中提取每种模态内数据的硬共享特征，基于所述硬共享特征获得每种模态内与不同任务相关的软共享特征，基于所述软共享特征获得每种模态内与不同任务相关的非共享特征，并基于所述非共享特征获得与所述多个任务中的每种任务对应的数据特征；

基于所述对应的数据特征执行所述多个任务，并计算所述多个任务中每种任务的损失函数；

利用不确定度损失加权计算所述多任务学习方法的总体损失函数，以训练所述多任务学习方法。

2.根据权利要求1所述的方法，还包括，

当任务依赖单一模态数据特征时，从所述单一模态数据中提取的所述非共享特征为所述任务对应的数据特征；

当任务依赖多模态数据时，将从所述依赖多模态数据的每种模态数据中提取的所述非共享特征进行特征融合，所述融合后的非共享特征为所述任务对应的数据特征。

3.根据权利要求2所述的方法，其中，当所述任务依赖多模态数据时，采用注意力集中机制将从所述依赖多模态数据的每种模态数据中提取的所述非共享特征进行特征融合，包括：

将从所述依赖多模态数据的每种模态数据中提取的所述非共享特征进行拼接，并变换生成特征掩码；

基于所述特征掩码特征融合所述非共享特征。

4.根据权利要求3所述的方法，其中，通过最小化损失训练所述多任务学习方法。

5.根据权利要求4所述的方法，其中，通过交叉熵和/或回归损失训练所述多任务学习方法。

6.根据权利要求1所述的方法，其中，利用L2范式或者十字绣网络提取所述软共享特征。

7.根据权利要求1所述的方法，其中，所述利用不确定度损失加权计算所述多任务学习方法的总体损失函数包括：

基于所述多个任务中每种任务的输出标准差调整所述每种任务的损失函数；

对所述每种任务的调整后的损失函数求和，获得所述多任务学习方法的总体损失函数。

8.一种基于多模态数据的多任务学习系统，包括：

接口模块，用于获取用于完成多个任务的多模态数据，将所述多模态数据按模态种类进行分组，并进行时空对齐；

特征提取模块，用于从所述对齐后的多模态数据中提取每种模态内数据的硬共享特征，基于所述硬共享特征获得每种模态内与不同任务相关的软共享特征，基于所述软共享特征获得每种模态内与不同任务相关的非共享特征，并基于所述非共享特征获得与所述多个任务中的每种任务对应的数据特征；

损失计算模块，用于基于所述对应的数据特征完成所述多个任务，并计算所述多个任务中每种任务的损失函数，利用不确定度损失加权计算所述多任务学习方法的总体损失函数；以及

训练模块，用于基于所述总体损失函数训练所述多任务学习方法。

9.一种存储介质，其中存储有计算机程序，在所述计算机程序被处理器执行时，能够用于实现权利要求1-8中任一项所述的方法。

10.一种电子设备，包括处理器和存储器，所述存储器中存储有计算机程序，在所述计算机程序被处理器执行时，能够用于实现权利要求1-8中任一项所述的方法。