[发明专利]基于多元素分层深度融合的轻量级多模态情感分析方法

权利要求书

1.基于多元素分层深度融合的轻量级多模态情感分析方法，其特征在于：步骤1、采集被测对象的n个模态的数据，并将各模态数据均转换为矩阵形式；n≥3；

步骤2、对各模态数据进行交互建模，得到各模态数据包含上下文信息的矩阵；

步骤3、取其中一个模态的矩阵作为中心矩阵；将其余n-1个模态矩阵分别与中心矩阵进行元素交互匹配，得到n-1个匹配矩阵；

步骤4、生成步骤3所得的n-1个匹配矩阵的权重向量；

步骤5、利用步骤4所得的n-1个权重向量分别更新n-1个匹配矩阵；

步骤6、利用n-1个匹配矩阵进行多模态元素匹配，得到n维的张量P；

步骤7、计算中心矩阵的隐含矩阵和权重向量，并利用中心矩阵的权重向量来更新张量P，得到张量P′；

步骤8、根据张量P'预测情绪分布向量label；情绪分布向量label的第i个元素label[i]为被测对象处于第i种情绪的概率；据此来确定被测对象在采集多模态数据时的情绪类型。

2.根据权利要求1所述的基于多元素分层深度融合的轻量级多模态情感分析方法，其特征在于：步骤2中，包含上下文信息的矩阵H＝bi_FCN(E)；其中，中间矩阵E＝LSTM(X)；LSTM(·)表示双向长短期记忆网络层变换；bi_FCN(·)表示非线性的前馈全连接层变换；矩阵X为在步骤1中获得的单个模态对应的矩阵。

3.根据权利要求1所述的基于多元素分层深度融合的轻量级多模态情感分析方法，其特征在于：步骤3中一个矩阵H_x与中心矩阵H_y的匹配矩阵其中，W₁为通过适配矩阵H_x与矩阵H_y的上下文信息来获得的权重矩阵。

4.根据权利要求1所述的基于多元素分层深度融合的轻量级多模态情感分析方法，其特征在于：步骤4中匹配矩阵M_xy的隐含矩阵R_x和权重向量α_x的表达式如下：

R_x＝tanh(W_xM_xy^T+b_x)

α_x＝softmax(w_xR_x)

其中，tanh(·)表示双曲正切函数运算；softmax(·)表示逻辑回归函数运算；W_x为确定隐含矩阵R_x时的参数矩阵；w_x为确定权重向量α_x时的参数矩阵；b_x为确定隐含矩阵R_x时的偏差。

5.根据权利要求1所述的基于多元素分层深度融合的轻量级多模态情感分析方法，其特征在于：步骤5中，匹配矩阵M_xy经过更新后，得到匹配矩阵M′_xy；匹配矩阵M′_xy的第i行元素M'_xy[i,:]＝M_xy[i,:]α_x[i]；其中，M_xy[i,:]表示矩阵M_xy的第i行元素；α_x[i]表示向量α_x的第i个元素。