[发明专利]基于多模态数据的多任务学习方法及系统

摘要

本发明提供了基于多模态数据的多任务学习方法及系统，包括获取用于完成多个任务的多模态数据，将所述多模态数据按模态种类进行分组，并进行时空对齐；从所述对齐后的多模态数据中提取每种模态内数据的硬共享特征，基于所述硬共享特征获得每种模态内与不同任务相关的软共享特征，基于所述软共享特征获得每种模态内与不同任务相关的非共享特征，并基于所述非共享特征获得与所述多个任务中的每种任务对应的数据特征；基于所述对应的数据特征执行所述多个任务，并计算所述多个任务中每种任务的损失函数；利用不确定度损失加权计算所述多任务学习方法的总体损失函数，以训练所述多任务学习方法。本发明实施例的技术方案能够充分利用多模态数据间的互补性，快速、准确的完成多任务学习，实现轻量化。