[发明专利]一种多任务学习及对比学习改进的多模态情感分析方法

说明书

本发明公开了多任务学习及对比学习改进的多模态情感分析方法，本发明针对多模态情感分析任务，提出一种通过多任务学习及对比学习的方法，全面地辅助学习单模态表征、双模态表征及多模态融合表征，有助于最终多模态情感极性预测，本发明针对多任务学习损失函数中多个任务的权重系数调整问题，提出利用同方差不确定性自适应调整权重系数的方法，解决手工调整花费时间多、调整精度低的问题，通过模型自适应学习权重参数权衡各个任务的重要性。

技术领域

本发明属于自然语言处理领域，具体涉及一种多任务学习及对比学习改进的多模态情感分析方法。

背景技术

随着信息与通信技术快速发展，越来越多的用户选择在社交平台上表达观点和情绪，这些内容携带大量的个人情感和观点信息，分析和识别社交数据中潜在的情感信息始终是情感计算和自然语言处理领域的一项重要基础工作。随着通信技术的发展，传统社交数据的内容形式也在不断改变，用户发布的内容不再是单一的文本信息，而是包含文本、图像、语音等不同模态的多模态数据。多模态情感分析(Multimodal Sentiment Analysis,MSA)研究在社交媒体舆情分析、推荐系统等领域都发挥重要作用，因此这一研究具有重要的研究意义和应用价值。

多模态数据分析虽然能够提供更加丰富的特征信息，但是多模态的异构性和异质性，使之较传统单模态情感分析任务更具挑战性。在从原始数据中提取初始表征时，不同模态需要使用不同的方法转换原始数据信息，提取各模态的特征表征。在后期特征融合时，不同模态数据的分布空间不同，因此简单的拼接效果不佳，需要考虑更加合理的特征融合方式。

多模态情感分析不仅要分别处理各单模态表征，还要考虑不同模态表征之间的融合。Zadeh等人提出张量融合网络(Tensor Fusion Network,TFN)，利用不同模态特征表示的笛卡尔外积作为融合结果，这种方法能够同时捕获单模态及多模态之间的相互作用。Hazarika等人提出用于多模态表征学习的模态不变表征和模态特定表征。Tsai等人提出能捕捉与其他模态之间交互的多模态Transformer，学习跨模态注意以强化目标模态。

尽管在多模态情感分析领域已经有相当多的优秀的深度学习模型和方法，但过去的研究大多侧重于多模态特征的融合，而忽略单模态表征的学习，模态表征的学习是整个任务中早期的部分，影响后期实际预测结果的质量，因此表征学习在整个多模态情感分析任务中具有重要的作用。

发明内容

本发明针对前期表征学习，提出多任务学习及对比学习改进的多模态情感分析方法。

本发明利用多任务学习及对比学习的思想，分阶段分别辅助学习单模态及双模态表征，利用对比学习辅助学习多模态融合表征进行，并基于同方差不确定性提出自适应调整多任务损失函数权重系数的方法，使多模态情感极性分类的准确度提高。

本发明具体包括以下步骤：

步骤1：准备MOSI数据集，对数据集中的多模态数据进行处理，获取初始单模态表征；

步骤2：将单模态表征输入第一个子任务模块，即单模态表征预测模块，进行单模态情感极性预测子任务，得到单模态情感极性预测结果；

步骤3：将单模态表征输入双模态门控模块，生成双模态表征，并将双模态表征输入第二个子任务模块，即双模态表征预测模块，进行双模态情感极性预测子任务，得到双模态情感极性预测结果；

步骤4：将单模态及双模态表征拼接，进行情感极性预测主任务，并通过对比学习，将任意两次输出的均方误差作为对比学习损失；

步骤5：将主任务与两组子任务的损失作为多任务学习损失，多任务学习损失中不同任务的损失权重系数通过同方差不确定性实现自适应调整，将多任务学习损失与对比学习损失的加权和作为模型最终的损失函数。