[发明专利]一种多模态情感识别方法、系统及存储介质

说明书

本发明公开了一种多模态情感识别方法、系统及存储介质，所述方法包括：响应所监听到的情感识别任务请求，采集音视频数据；从音视频数据中提取视频情感特征、音频情感特征和语义情感特征；将视频情感特征、音频情感特征和语义情感特征进行特征融合；依据融合情感特征进行情感特征识别。所述系统包括CPU、FPGA和存储单元；CPU能够执行前述方法步骤，FPGA能够执行前述方法中的特征提取及特征融合步骤；本发明依据视频、音频及语义情感特征融合结果进行情感特征识别，能够显著提高情感识别的准确率；将多模态情感特征提取算法同时嵌入CPU及FPGA，依据利用率选择执行设备，有助于提高算法运行速度、降低延迟。

技术领域

本发明涉及一种多模态情感识别方法、系统及存储介质，属于人工智能技术领域。

背景技术

情感识别是人工智能、心理学、计算科学等多学科交叉的新兴领域，进入21世纪后，随着人工智能领域的快速发展，情感识别的需求越来越大。情感识别大体上可以分为语音情感识别，人脸情感识别和文本情感识别。传统的情感识别算法常常只着眼于单一模态，例如针对语音情感识别或文本情感识别，识别效果不尽如人意。如今深度学习已经成为热门研究方向，深度学习与普通机器学习相比，一个特点是计算量巨大，在嵌入式系统上，用通用处理器做深度学习太慢，而GPU也存在功耗巨大价格昂贵等缺点。

发明内容

本发明的目的在于克服现有技术中的不足，提供一种多模态情感识别方法、系统及存储介质，能够提高情感识别准确率。

为达到上述目的，本发明是采用下述技术方案实现的：

第一方面，本发明提供了一种多模态情感识别方法，包括如下步骤：

响应所监听到的情感识别任务请求，采集音视频数据；

从所述音视频数据中提取视频情感特征、音频情感特征和语义情感特征；

将所述视频情感特征、音频情感特征和语义情感特征进行特征融合，获取融合情感特征；

依据融合情感特征进行情感特征识别。

结合第一方面，进一步的，所述方法还包括：对所采集的音视频数据进行数据切分，获取若干最小情感识别片段。

结合第一方面，进一步的，所述视频情感特征的提取方法包括如下步骤：

从最小情感识别片段中提取视频数据；

从视频数据中选取一帧图像进行人脸检测，将人脸检测结果输入至训练好的卷积神经网络中，将卷积神经网络的隐藏层作为视频情感特征。

结合第一方面，进一步的，所述音频情感特征的提取方法包括如下步骤：

从最小情感识别片段中提取音频数据；

提取所述音频数据的梅尔倒谱特征，生成梅尔倒谱图；

将所述梅尔倒谱图输入至训练好的循环卷积神经网络中，将循环卷积神经网络的隐藏层作为音频情感特征。

结合第一方面，进一步的，所述语义情感特征的提取方法包括如下步骤：

从所采集的音视频数据中提取音频数据；

对所述音频数据进行语音识别获取相应的文本信息；

对所述文本信息进行分词及词嵌入处理，将处理结果输入至训练好的长短期记忆网络，将长短期记忆网络的隐藏层作为语义情感特征。

结合第一方面，进一步的，获取融合情感特征的方法包括：

将所提取的视频情感特征、音频情感特征和语义情感特征分别拉伸为一维向量并拼接；

将拼接得到的一维向量输入至深度置信网络，输出融合情感特征。