[发明专利]基于子空间稀疏特征融合的多模态情感识别方法及系统

权利要求书

1.一种基于子空间稀疏特征融合的多模态情感识别方法，其特征在于，包括：

1）获取被识别对象当前的多种模态的特征序列；

2）将多种模态的特征序列进行字级对齐和规范化处理；

3）将被识别对象的多种模态的特征序列分别通过位置编码得到引入位置信息的特征序列，然后分别将各个模态下引入位置信息的特征序列输入对应的多分支稀疏注意力模块得到各个模态对应的高维特征；

4）将各个模态对应的高维特征分解至低维特征子空间得到低维特征，为多个低维特征赋予相应的权重，然后基于权重将所有低维特征在低维特征子空间进行级联，得到级联后的低维特征；

5）将级联后的低维特征通过多分支稀疏注意力网络中训练得到融合后的多模态信息；

6）将融合后的多模态信息输入预先训练好的情感分类器，得到被识别对象当前的情感类别，所述情感分类器被预先训练建立了融合后的多模态信息、情感类别之间的映射；

步骤3）中的多分支稀疏注意力模块对输入的引入位置信息的特征序列的处理步骤包括：首先针对输入的引入位置信息的特征序列进行多头降维、提取稀疏注意力SparseAttention，同时针对输入的引入位置信息的特征序列通过卷积层提取引入位置信息的特征序列的局部相关性并通过门控线性单元进行激活输出，然后将提取得到的多头特征、门控线性单元激活输出的结果进行相加，得到各个模态对应的高维特征；

其中，进行多头降维是指根据下式将其投影至6个不同的特征空间中，得到投影至6个不同的特征空间中的查询特征、键特征、值特征：

上式中，W_i^q、W_i^k、W_i^v分别为查询权重矩阵、键权重矩阵、值权重矩阵，X_i^q、X_i^k、X_i^v分别为投影至6个不同的特征空间中的查询特征、键特征、值特征；

其中，提取稀疏注意力SparseAttention是指针对投影至6个不同的特征空间中的查询特征、键特征、值特征根据下式计算第i个特征空间中的稀疏注意力头head_i：

上式中，head_i为第i个特征空间中的头，SparseAttention为稀疏注意力计算网络，X_i^q、X_i^k、X_i^v分别为投影至第i个特征空间中的查询特征、键特征、值特征，d_k为输入特征序列的维度，sparse(X_i^qX_i^kT)为稀疏相似性矩阵，且计算稀疏相似性矩阵sparse(X_i^qX_i^kT)的函数表达式为：

上式中，X为输入的特征序列，M为输入特征的相似度矩阵，softmax表示softmax函数，X_i^q、X_i^k、X_i^v分别为投影至第i个特征空间中的查询特征、键特征、值特征，Τ为中间变量，sigmoid表示sigmoid函数，linear为线性函数，pool()大小为2*2、步长为1的池化窗口，CNN()表示卷积核大小为1*1、步长为1的卷积操作，linear线性函数根据池化后的激活值回归稀疏注意力的阈值，relu为线性整流函数；

然后将各个特征空间中的头head_i采用下式级联到得到的多头特征：

上式中，MultiHead(X_i^q、X_i^k、X_i^v )为得到的多头特征，concat为特征维度上的级联操作，head₁～head₆分别为第1～6个特征空间中的头，W^O为输出权重矩阵；

其中，门控线性单元激活输出的结果的函数表达式如下式所示：

上式中，W、V为不同的卷积核，b、c为偏置参数，X为输入的引入位置信息的特征序列，h_l(X)为门控线性单元激活输出的结果。