[发明专利]基于多模态数据的多任务学习方法及系统

说明书

本发明提供了基于多模态数据的多任务学习方法及系统，包括获取用于完成多个任务的多模态数据，将所述多模态数据按模态种类进行分组，并进行时空对齐；从所述对齐后的多模态数据中提取每种模态内数据的硬共享特征，基于所述硬共享特征获得每种模态内与不同任务相关的软共享特征，基于所述软共享特征获得每种模态内与不同任务相关的非共享特征，并基于所述非共享特征获得与所述多个任务中的每种任务对应的数据特征；基于所述对应的数据特征执行所述多个任务，并计算所述多个任务中每种任务的损失函数；利用不确定度损失加权计算所述多任务学习方法的总体损失函数，以训练所述多任务学习方法。本发明实施例的技术方案能够充分利用多模态数据间的互补性，快速、准确的完成多任务学习，实现轻量化。

技术领域

本发明涉及机器学习领域，尤其涉及基于多模态数据的多任务学习方法及系统。

背景技术

多任务学习(multi-task learning，MTL)是机器学习的一个分支，它利用多个任务之间的共性和差异，同时解决多个学习任务。与每种任务单独进行学习相比，多任务学习可以提高任务特定模型的学习效率和预测精度。在多任务学习中，给定的若干个任务之间(或至少其中部分任务)具有相关性，这包括两个方面：一种是模态相关性，即多个任务均采用同一种模态的数据；二是特征表示的相关性，即多个任务所需要的特征具有一定的相关性。因此，多任务学习主要基于任务之间的相关性来提升各个任务的性能。

然而，现有的多任务学习方法一般采用单一的多任务学习技术，例如仅采用硬参数共享技术、软参数共享技术、多任务损失加权技术等技术中的一种，因而不能充分利用不同任务之间的相关性。此外，多个任务往往采用相同模态的输入数据，无法有效利用不同模态数据的互补性。

因此，亟需一种基于多模态数据的多任务学习方法。

发明内容

因此，本发明实施例的目的在于克服上述现有技术的缺陷，提供一种基于多模态数据的多任务学习方法方法及系统，能够充分利用多模态数据间的互补性，快速、准确的完成多任务学习，实现轻量化。

上述目的是通过以下技术方案实现的：

根据本发明的第一方面，提供了一种基于多模态数据的多任务学习方法，包括获取用于完成多个任务的多模态数据，将所述多模态数据按模态种类进行分组，并进行时空对齐；从所述对齐后的多模态数据中提取每种模态内数据的硬共享特征，基于所述硬共享特征获得每种模态内与不同任务相关的软共享特征，基于所述软共享特征获得每种模态内与不同任务相关的非共享特征，并基于所述非共享特征获得与所述多个任务中的每种任务对应的数据特征；基于所述对应的数据特征执行所述多个任务，并计算所述多个任务中每种任务的损失函数；利用不确定度损失加权计算所述多任务学习方法的总体损失函数，以训练所述多任务学习方法。

在本发明的一些实施例中，还包括，当任务依赖单一模态数据特征时，从所述单一模态数据中提取的所述非共享特征为所述任务对应的数据特征；当任务依赖多模态数据时，将从所述依赖多模态数据的每种模态数据中提取的所述非共享特征进行特征融合，所述融合后的非共享特征为所述任务对应的数据特征。

在本发明的一些实施例中，当所述任务依赖多模态数据时，采用注意力集中机制将从所述依赖多模态数据的每种模态数据中提取的所述非共享特征进行特征融合，包括：将从所述依赖多模态数据的每种模态数据中提取的所述非共享特征进行拼接，并变换生成特征掩码；基于所述特征掩码特征融合所述非共享特征。

在本发明的一些实施例中，其中，通过最小化损失训练所述多任务学习方法。

在本发明的一些实施例中，其中，通过交叉熵和/或回归损失训练所述多任务学习方法。

在本发明的一些实施例中，利用L2范式或者十字绣网络提取所述软共享特征。