[发明专利]一种用于多模态情绪检测的特征级融合方法

权利要求书

1.一种用于多模态情绪检测的特征级融合方法，其特征在于，该方法包括如下步骤：

步骤1：从公开的数据集中获得其文本形态的转录本，转录本S是由n个单词组成的句子；

步骤2：根据已有的快速文本嵌入字典，将最初维度为V的单热矢量单词W_i嵌入到低维实值向量中，获得矢量序列X；

步骤3：在矢量序列X上应用单层CNN,卷积层包含三个滤波器，输入矢量序列X,并在每个矢量中提取特征，应用最大池操作，获得输出向量O_i，连接O_i，生成整体文本特征t_u；

步骤4：使用开源工具openSMILE从数据集中的音频文件提取音频信息，获得有关说话者情绪状态的特征向量称为a_in；

步骤5：将高维矢量a_in映射到密集的神经层中，获得音频特征向量a_u；

步骤6：引入多维自注意模块，用于计算单峰文本特征t_u和音频特征a_u的注意力得分a_k，再通过softmax函数将a_k转换为概率分布p_k,i；

步骤7：根据计算出的文本特征和音频特征注意力概率p_i,k，执行加权加法来创建融合向量s_u，多维自注意的融合向量s_u的第k个元素，即s_u[k]；

步骤8：将生成的融合向量s_u映射到另一个密集的神经层上；

步骤9：使用softmax函数计算融合向量s_u的分类概率从而进行情感类别的分类；

步骤10：使用分类交叉熵计算基于反向传播的训练的批量损失Loss，不断调整权重与偏差，使损失loss最小，获得最佳情绪预测结果。

2.如权利要求1所述的一种用于多模态情绪检测的特征级融合方法，其特征在于，所述步骤2，将单词嵌入，句子S变换为矢量序列X＝[x₁,x₂,...x_n]，x_i的计算公式为：x_i＝W_emw_i，其中W_em为快速文本嵌入字典，w_i为矢量单词，表示维度为d_em的单热矢量，d_em是文本嵌入字典的维度。

3.如权利要求1或2所述的一种用于多模态情绪检测的特征级融合方法，其特征在于，所述步骤3的过程为：

步骤3-1：卷积层包含三个滤波器其中，F1，F2，F3表示三个维度分别为d_em×h₁，d_em×h₂，d_em×h₃的滤波器，h₁,h₂,h₃是滤波器的卷积核大小；

步骤3-2：每个过滤器Fi在输入序列X上滑动，并在每个矢量中提取特征，构成了大小为的特征映射向量m_i,j，m_i,j的计算公式为：其中j＝1,...,(|X|-h_i+1)，F_i是滤波器，h_i是滤波器卷积核大小，X是矢量序列，b_i是偏差，α(·)是非线性激活函数；

步骤3-3：每个滤波器Fi创建M个特征映射，总共获得3M个特征映射，然后，在滤波器Fi的每个M特征映射向量的长度上应用最大池操作，获得输出向量O_i；

步骤3-4：将每个O_i连接起来，得到再用一个全连接层，将O连接起来，获得整体文本特征