[发明专利]一种基于模态空间同化和对比学习的多模态情感分类方法

说明书

本发明公开一种基于模态空间同化和对比学习的多模态情感分类方法。本发明引入了同化的概念，利用由模态之间的互补信息组成的引导向量来指引每个模态同时接近解空间。该操作不仅进一步提高搜索解空间的效率，而且使得三种模态的异构空间同构。在空间同构的过程中，能够在一定程度上有效平衡多个模态对最终解空间的贡献。在指导每个模态的时候，该策略能使模型更加关注情感特征，这减少了模态内冗余，构建多模态表示的难度也因此降低了。其次，本发明还运用了监督对比学习来增强模型辨别不同情绪差异的能力，使得模型能够捕捉到更为全面的多模态情感上下文。

技术领域

本发明属于自然语言处理、视觉、语音交叉领域内的多模态情感识别领域，涉及一种基于模态空间同化和对比学习的多模态情感分类方法，具体是利用一个指导向量使得异构的多模态空间同化，并通过监督对比学习约束获得的多模态表示，从而判断被试情感状态的方法。

背景技术

情感分析领域通常包含文本、视频以及音频等数据。以往的研究已经证实了这些单模数据通常包含着与情绪状态相关的判别信息，同时发现只是单纯分析单个模态的数据往往不能得到准确的情绪分析。但是，利用多种模态的信息则能够保证模型能进行更加准确的情感分析。通过模态之间的互补性消除模态之间的奇异性和不确定性，有效增强模型的泛化能力和鲁棒性，以及提高情感分析任务的性能。

现有的基于注意力机制的融合模型，通过从每个模态中提取信息来构建一个紧凑的多模态表示，并根据该多模态表示进行情感分析。因此受到了越来越多的研究人员的关注。首先通过注意力机制得到另外两个模态信息(视频和音频)与文本模态信息之间的注意力系数，然后根据得到的注意力系数进行多模态融合。但是这忽略了多个模态信息的之间存在的交互关系。此外，模态之间存在着间隙以及每个模态内部存在着冗余，这两个都会增加学习联合嵌入空间的难度。然而，现有的多模态融合方法很少考虑到这两个细节，也没有保证进行交互的多模态的信息是细粒度的，这对最终的任务表现有着一定的影响。

现有的基于转换网络的多模态融合模型，在建模时间依赖性方面上有着很大的优势，并且所包含的自注意力机制能有效解决多模态数据之间的不对齐问题，因此引起了广泛关注。该多模态融合模型通过将源模态的分布转换为目标模态的分布来获得跨模态公共子空间，并以此作为多模态融合信息。此外，在将源模态转换为另一模态的过程中获得解空间，这使得解空间过度依赖于目标模态的贡献，并且当某一种模态数据缺失时，解空间将会缺少来自于这种模态数据的贡献，这导致无法有效平衡各个模态对最终解空间的贡献。另一方面，现有转换模型通常只考虑文本到音频以及文本到视频的转换，并没有考虑其他的模态转换的可能性，这对最终的任务表现有着一定的影响。

中国专利CN114722202A公开提出利用双向双层注意力LSTM网络实现多模态情感分类，利用双向注意力LSTM网络能够发掘更加全面的时间依赖性；中国专利CN113064968A提供了一种基于张量融合网络的情感分析方法，采用张量网络建模模态之间的交互。但是以上两个网络很难有效地从长序列中探索多模态情感上下文，这可能会限制学习模型的表达能力。中国专利CN114973062A公开了一种基于Transformer的多模态情感分析方法，该方法使用成对的交叉模态注意机制来捕获跨不同时间步长的多模态序列之间的交互，以此潜在地将序列从一种模态映射到另一种模态。但是忽略了辅助模态的冗余消息，这增加了对多模态消息进行有效推理的难度。更重要的是，基于注意力的框架主要关注多模态之间的静态或隐式交互，这会导致形成多模态情感上下文是相对粗粒度的。

发明内容