[发明专利]一种基于Transformer-ESIM注意力机制的多模态情绪识别方法

权利要求书

1.一种基于Transformer-ESIM注意力机制的多模态情绪识别方法，其特征在于，包括：

对原始数据进行预处理，以获得语音序列和文本序列,其中,所述原始数据至少包括语音数据和文本数据；

将预处理后的语音序列和文本序列输入至transformer编码层，以在所述transformer编码层提取深层特征并进行编码，获得编码序列；

将所述编码序列输入至ESIM的交互注意力层，获得语音序列和文本序列之间的相似特征和差异特征；

对所述相似特征和所述差异特征进行池化处理；

将池化处理后的相似特征和差异特征输入至分类器，获得情绪识别的分类结果。

2.根据权利要求1所述的一种基于Transformer-ESIM注意力机制的多模态情绪识别方法，其特征在于，所述将预处理后的语音序列和文本序列输入至transformer编码层，以在所述transformer编码层提取深层特征并进行编码，获得编码序列的步骤包括：

使用transformer编码层对预处理后的语音序列和文本序列进行并行化特征处理；

基于所述特征化的处理结果进行深层情感语义编码，获得编码序列。

3.根据权利要求1所述的一种基于Transformer-ESIM注意力机制的多模态情绪识别方法，其特征在于，所述将所述编码序列输入至ESIM的交互注意力层，获得语音序列和文本序列数据之间的相似特征和差异特征的步骤包括：

根据语音序列和文本序列的相似度矩阵，提取文本词中的相似信息和语音帧的相似信息；

基于所述文本词中的相似信息和所述语音帧的相似信息，计算语音序列和文本序列之间的差异特征。

4.根据权利要求3所述的一种基于Transformer-ESIM注意力机制的多模态情绪识别方法，其特征在于，所述计算语音序列与文本序列之间的相似度矩阵所采用的具体公式为：

其中，i表示语音序列中的第i个标记，j表示文本序列中的第j个标记，和分别表示编码后的语音帧和文本词；e_ij表示语音的第i帧和文本的第j个词的相似度矩阵，表示中每个词与的相似信息，表示中每个帧与的相似信息，l_a，l_b分别代表语音帧和文本句的长度。

5.据权利要求4所述的一种基于Transformer-ESIM注意力机制的多模态情绪识别方法，其特征在于，所述语音序列和所述文本序列之间的差异特征的表达式为：

其中，m_a表示增强后语音信息,m_b表示增强后文本的信息,-表示相减，表示矩阵的乘积。

6.根据权利要求5所述的一种基于Transformer-ESIM注意力机制的多模态情绪识别方法，其特征在于，所述对所述相似特征和所述差异特征进行池化处理的步骤包括：

对增强后的语音信息和文本信息进行池化；

对所述语音序列和所述文本序列进行平均池化和最大池化操作；

将池化操作后的结果放入定长向量中。