[发明专利]基于子空间稀疏特征融合的多模态情感识别方法及系统

说明书

本发明公开了一种基于子空间稀疏特征融合的多模态情感识别方法及系统，本发明方法包括获取多种模态的特征序列，并进行字级对齐和规范化处理、位置编码，然后输入对应的多分支稀疏注意力模块、分解至低维特征子空间得到低维特征，基于权重将所有低维特征在低维特征子空间进行级联，通过多分支稀疏注意力网络中训练得到融合后的多模态信息，再输入预先训练好的情感分类器，得到被识别对象当前的情感类别，所述情感分类器被预先训练建立了融合后的多模态信息、情感类别之间的映射。本发明通过考虑时序信息之间的关联稀疏性，将多模态信息分解至多个子空间中进行融合，能够捕获模态内和模态间的上下文信息，提升了多模态情感识别的准确率。

技术领域

本发明涉及多模态人机自然交互技术，具体涉及一种基于子空间稀疏特征融合的多模态情感识别方法及系统。

背景技术

多模态人机自然交互面临情感化挑战，要攻克多模态人机自然交互中面临的情感化挑战，首先必须解决机器人理解和识别人类情感的问题，因此情感识别是人机交互领域的重要研究课题，近年来取得快速发展。单独利用面部图像或语音信号进行情感识别的准确率处于瓶颈状态，且鲁棒性较差。比起单模态情感识别，多模态情感识别更能全面地利用语音、面部表情图像和文本中的情感信号，进一步提升情感识别水平。因此，越来越多的研究者将目光聚焦于多模态情感识别研究。

但是，多模态情感识别存在许多亟待解决和突破的难题，主要包括：第一，不同模态情感特征的表示和融合。音、视频信息通过不同传感器采集，数据格式和捕获速率不同，多模态信号中的情感特征统一表示和融合问题尚未解决。第二，模态信息缺失。现有的多模态情感识别方法一般假设多模态信息完全获取，未考虑某一模态缺失，但在真实环境中噪声、遮挡会导致音、视频模态缺失的情况发生。第三，情感特征的不确定因素影响。语言、性别和文化会导致不同场景下特定情绪状态的表达差异。

发明内容

本发明要解决的技术问题：针对现有技术的上述问题，提供一种基于子空间稀疏特征融合的多模态情感识别方法及系统，本发明通过考虑时序信息之间的关联稀疏性，将多模态信息分解至多个子空间中进行融合，能够捕获模态内和模态间的上下文信息，提升了多模态情感识别的准确率。

为了解决上述技术问题，本发明采用的技术方案为：

一种基于子空间稀疏特征融合的多模态情感识别方法，包括：

1）获取被识别对象当前的多种模态的特征序列；

2）将多种模态的特征序列进行字级对齐和规范化处理；

3）将被识别对象的多种模态的特征序列分别通过位置编码得到引入位置信息的特征序列，然后分别将各个模态下引入位置信息的特征序列输入对应的多分支稀疏注意力模块得到各个模态对应的高维特征；

4）将各个模态对应的高维特征分解至低维特征子空间得到低维特征，为多个低维特征赋予相应的权重，然后基于权重将所有低维特征在低维特征子空间进行级联，得到级联后的低维特征；

5）将级联后的低维特征通过多分支稀疏注意力网络中训练得到融合后的多模态信息；

6）将融合后的多模态信息输入预先训练好的情感分类器，得到被识别对象当前的情感类别，所述情感分类器被预先训练建立了融合后的多模态信息、情感类别之间的映射。

可选地，步骤1）中多种模态的特征包括文本特征序列、音频特征序列和视频特征序列。

可选地，步骤2）的步骤包括：将音频特征序列和视频特征序列按照文本特征序列进行对齐，记录第i个单词的起始时间和结束时间，分别平均音频特征序列和视频特征序列相应时间段内的特征，并将对齐后的文本特征序列、音频特征序列和视频特征序列进行归一化处理到[0,1]范围内，最后限制文本内容长度，超出部分进行截取，不足部分进行补0，统一文本特征序列、音频特征序列和视频特征序列的特征维度分别为(20，300)、(20，74)、(20，35)。