[发明专利]一种多模态情感识别方法、系统及存储介质

权利要求书

1.一种多模态情感识别方法，其特征在于，包括如下步骤：

响应所监听到的情感识别任务请求，采集音视频数据；

从所述音视频数据中提取视频情感特征、音频情感特征和语义情感特征；

将所述视频情感特征、音频情感特征和语义情感特征进行特征融合，获取融合情感特征；

依据融合情感特征进行情感特征识别；

根据历史数据中情感状态变化的先验知识，对出现频率最高的情感类别进行时序分析，以判断当前情感识别结果是否合理：如合理，则选取出现频率最高的情感类别作为最终的情感识别结果；否则，从剩余情感类别中选取出现频率最高的情感类别作为情感识别结果，重新进行合理性检验，直至满足合理性要求；

其中，依据融合情感特征进行情感特征识别的方法包括如下步骤：

将融合情感特征输入至训练好的全连接神经网络分类器，获取每个最小情感识别片段对应的情感类别列表；所述最小情感识别片段通过对所采集的音视频数据进行数据切分获取；

根据情感类别列表，选取出现频率最高的情感类别作为情感识别结果；

所述情感类别列表的获取方法包括：

从音视频流中截取出一系列音视频片段，依时间先后顺序命名为S₁，S₂，...，S_n，假设已经得到片段S₁至S_t-1的情感类别，将片段S_t分为视频片段video与音频片段audio；语音识别将audio识别为文本text；

将video均等切分为10个片段video₁，video₂，…，video₁₀，将audio均等切分为audio₁，audio₂，…，video₁₀；

从video₁中随机选出一帧图像并经过人脸检测裁剪得到face₁，对video₂，...，video₁₀做同样操作，得到face₁，face₂，…，face₁₀；将audio₁至audio₁₀输入音频MFCC提取模块，输出各自对应的MFCC特征MFCC₁，MFCC₂，…，MFCC₁₀；将文本text输入词向量转换模块生成input_text；

将模态数据组合{face₁，MFCC₁，input_text}输入多模态情感分类器，输出face₁对应的音视频片段的情感类别sub_emotion₁，依次类推，得到情感类别列表{sub_emotion₁，sub_emotion₂，…，sub_emotion₁₀}；

对出现频率最高的情感类别进行时序分析，以判断当前情感识别结果是否合理的方法包括：

定义情感类别数目为c，当前待检测情感片段的情感类别为e_pred，实际情感类别为e_true，之前3个待检测情感片段属于各情感类别的概率为[q₁，q₂，...q_c]，[r₁，r₂，...r_c]，[s₁，s₂，...s_c]；当前待检测情感片段属于各情感类别的概率为[p₁，p₂，...p_c]；

假设一段待检测情感片段的情感受之前n个片段的影响，统计历史数据的情感标签，得出给定之前n个片段的情感标签的条件下，当前待检测情感片段为e_pred类别的概率为f；

基于历史投票数据和数据的真实标签构建训练集，1个样本中的特征向量为：[f，q₁，q₂，...q_c，r₁，r₂，...r_c，s₁，s₂，...s_c，p₁，p₂，...p_c]，若e_pred＝e_true类别标签为1，否则为0；

采用所构建的训练集训练支撑向量机分类模型，采用训练好的支撑向量机分类模型判断多模态情感识别算法识别出得情感类别是否合理。