[发明专利]基于注意力机制与GMN的多模态情感识别方法及系统

说明书

本发明公开了基于注意力机制与GMN的多模态情感识别方法及系统，对获取的待识别的视频进行预处理，得到文本、语音和面部表情特征；将文本、语音和面部表情特征，并发输入到训练后的多模态情感识别网络的LSTMs模型中，输出第一特征向量；对LSTMs模型所有相邻时间戳的存储器输出值，进行加权求和，得到第一加权后的特征；将第一加权后的特征，输入到训练后的门控记忆网络GMN中，输出第二特征向量；训练后的全局注意力机制网络GTAN，对每个LSTM模型下，所有时间戳的存储器输出值进行加权求和，得到第三特征向量；对第一、第二和第三特征向量进行融合，得到融合特征向量；对融合特征向量进行情感识别，得到情感识别结果。

技术领域

本发明涉及情感识别技术领域，特别是涉及基于注意力机制与GMN的多模态情感识别方法及系统。

背景技术

本部分的陈述仅仅是提到了与本发明相关的背景技术，并不必然构成现有技术。

随着人工智能的发展，为了更好的服务于人，希望机器能够更好的识别人的真实表达，从而提供符合人的期望的服务，人机交互的呼声越来越高。然而，大部分所谓的智能终端只能做简单的执行任务，无法做到真正的人机交互。而实现真正的人机交互首要的关键点就在于让智能终端正确识别人们所表现出的情感，这就是所谓的情感识别。在人类发展与交流的过程中，情感表达是一种重要的部分。本发明可以通过对人们的语音语调变化、表达用词、面部表情以及肢体动作来进行人与人之间的情感识别。在人工智能领域中，情感识别是涉及到人机交互的重要技术，它融合了语音信号处理、心理学、模式识别、视频图像处理等多种学科，可以应用于教育、交通、医疗等各个领域。

情感识别在本质上属于计算机技术中的模式识别，本发明需要对人类表达情感的信息进行数据采集以及后续数据处理。生活中最普遍的数据来源就是音频与视频，而且心理学研究表明，视频中的面部表情与音频中的语音和文本在人类情绪的表达中起到至关重要的作用。基于音频的情感识别方法一般是语音情感识别，基于视频的情感识别方法一般是人脸表情识别。在情感识别技术发展的进程中，虽然基于音频的语音情感识别与基于视频的人脸表情识别这两种单模态情感识别都取得了巨大的进展，但是从情感信息本身来说，人类的情感是由多模态信息组合而成的，各个模态之间的信息具有互补性，音视频融合的情感识别更能充分地利用多模态信息。因此，多模态情感识别成为了研究重点。

多模态情感识别最初是使用支持向量机(SVM)，线性回归和逻辑回归等分类器进行探索。早期的多模态情感识别方法对于视频信号，使用光流法来检测脸部关键点(如嘴角，眉毛内角等)的移动与移速，并使用KNN算法判断视频模态的情感类别。另外对于语音信号，则使用语音的音高特征与HMM算法判断语音模态的情感类别。最后加权结合视频模态情感类别与音频模态情感类别得到最后的识别结果。还有一些方法是结合了视频，音频和文本形式，使用支持向量机SVM中的多核学习(MKL)融合了三种模式,从而获得更高的识别精度。近几年产生的方法包括将梅尔频谱图用作音频信号到CNN的输入，脸部框架用作视频信号到3D CNN的输入的情感识别方法，以及将语音信号的音频特征，图像帧的密集特征和图像帧的基于CNN的特征在得分级别进行融合以识别情绪的情感识别方法等。

虽然多模态情感识别可以很好地克服单模态情感识别中信息单一，无法互补的缺点，但是如何将不同模态的信息进行处理、融合是一个难以解决的问题。传统的多模态信息融合方法框架有数据层融合、特征层融合以及决策层融合。这三种多模态情感识别框架，他们各有千秋。但是在实际任务中，需要考虑实际问题才能选择最佳的融合方式。本文决定采用深度学习特征层融合的方式对文本信息、音频信号与视频信号进行处理。

发明内容

为了解决现有技术的不足，本发明提供了基于注意力机制与GMN的多模态情感识别方法及系统；

第一方面，本发明提供了基于注意力机制与GMN的多模态情感识别方法；

基于注意力机制与GMN的多模态情感识别方法，包括：