[发明专利]一种用于多模态情绪检测的特征级融合方法

说明书

一种用于多模态情绪检测的特征级融合方法，从公开的数据集中获得其文本形态的转录本；在矢量序列X上应用单层CNN；使用开源工具openSMILE从数据集中的音频文件提取音频信息，将高维矢量映射到密集的神经层中，获得音频特征向量；将多维自注意作为特征融合方法用于计算单峰特征的注意力得分概率；使用注意力得分概率执行加权加法来创建融合向量；将生成的融合向量s_u映射到另一个密集的神经层上；使用softmax函数计算融合向量的分类概率；使用分类交叉熵计算基于反向传播的训练的批量损失Loss，获得最佳情绪预测结。本发明引入了自注意机制，为两种模态特征分配适当的权重，获得融合特征，从而提高情绪识别的准确度。

技术领域

本发明提出了一种不同与传统融合方法的新的特征级融合方法。本方法将文本和音频模态的特征分别进行提取，引入了自注意机制，为两种模态特征分配适当的权重，获得融合特征，从而提高情绪识别的准确度。具体涉及的方法为：基于自注意机制的特征级融合方法。

背景技术

情感检测是一种具有广阔应用前景的热门研究领域，机器可以通过准确识别人类情绪并对这些情绪做出反应来增强人机交互，在医学，教育，营销，安全和监视领域情绪识别也具有重要的应用。

传统的情感检测方法只利用单个视觉或音频信号等形态，存在一定的局限性。相比较单模态的情绪检测，两种或多模态拥有更多的情感信息，能够提高情感识别的准确率。因此，最近的研究重点转向利用多种形式的信息的多模式处理上。

发明内容

为了克服单模态情绪识别的局限性，充分利用多模态下得更多的情感信息，提高情绪识别的性能，本发明提出了一种基于自注意机制的特征级融合方法。可以在公开的多模态获取数据，方法简单，稳定性好。

本发明解决其技术问题所采用的技术方案是：

一种用于多模态情绪检测的特征级融合方法，包括以下步骤：

步骤1：从公开的数据集中获得其文本形态的转录本，转录本S是由n个单词组成的句子；

步骤2：根据已有的快速文本嵌入字典，将最初维度为V的单热矢量单词W_i嵌入到低维实值向量中，获得矢量序列X；

步骤3：在矢量序列X上应用单层CNN,输入矢量序列X,生成整体文本特征；

步骤4：使用开源工具openSMILE从数据集中的音频文件提取音频信息，获得有关说话者情绪状态的特征向量称为a_in；

步骤5：将高维矢量a_in映射到密集的神经层中，获得音频特征向量a_u；

步骤6：引入多维自注意模块，用于计算单峰文本特征t_u和音频特征a_u的注意力得分a_k，再通过softmax函数将a_k转换为概率分布p_k,i；

步骤7：根据计算出的文本特征和音频特征注意力概率P_k,i执行加权加法来创建融合向量s_u，多维自注意的融合向量s_u的第k个元素，即s_u[k]；

步骤8：将生成的融合向量s_u映射到另一个密集的神经层上；

步骤9：使用softmax函数计算融合向量s_u的分类概率从而进行情感类别的分类；

步骤10：使用分类交叉熵计算基于反向传播的训练的批量损失Loss，不断调整权重与偏差，使损失loss最小，获得最佳情绪预测结果。