[发明专利]一种基于注意力引导双向胶囊网络的多模态情感分类方法

权利要求书

1.一种基于注意力引导双向胶囊网络的多模态情感分类方法，其特征在于：步骤1、获取多模态数据；

提取被测对象的三种模态数据；所述的三种模态数据分别为音频模态X_a、视频模态X_v、文本模态X_t；三种模态数据分别记为T_i(i∈{a,v,t})是时域维度的尺寸，d_i(i∈{a,v,t})是每一个时刻的特征向量的长度；

步骤2、对三种模态数据进行交互增强；

采用多模态动态交互增强模块对三种模态数据进行交互增强；多模态动态交互增强模块包括一个或多个进程头；每个进程头包括一个或多个自适应迭代；进程头数量为M；每个进程头中自适应迭代的数量为N；

多模态动态交互增强模块获取文本感知的音频表示的过程如下：

对于单个进程头情况，和将先被输入模块中以寻找相似系数；经过N次迭代的文本增强的音频表示公式如下：

其中，为第m个进程头的第n次自适应迭代得到的文本增强音频表示，为第m个进程头的第n-1次自适应迭代得到的文本增强音频表示，为第m个进程头的第i次自适应迭代得到的文本增强音频表示；softmax(·)表示softmax函数运算；m＝1,2,...,M；

利用每个进程头迭代得到的文本增强的音频表示获取多路文本增强表示X_a^MulHead，并进一步获取文本感知的音频表示计算过程如下：

其中，concat(·)为多头的连接函数；Conv(·)为卷积组件；

获取文本感知的音频表示的过程与获取文本感知的音频表示的

过程相同；之后，将与以学习得到的第一比例C_a和第二比例C_v加到文本模态X_t中，获得增强的文本模态具体如下：

步骤3、注意力引导的双向胶囊网络；

3-1.以步骤2的输出作为输入，通过注意力引导的双向胶囊网络提取全局多模态公共信息；注意力引导的双向胶囊网络包括低层多模态表示胶囊和高层模态感知公共胶囊其中，N_u和N_v分别为低层和高层胶囊的数量；

每个低层多模态表示胶囊u_i，均进行卷积投影，得到新的胶囊如下：

其中，Conv(·)为卷积组件；kernel为可变卷积核；

进一步建立多头的投票矩阵如下：

其中，s为卷积投影头的序数；kernel为第s个可变卷积核；i＝1,2,...,Nu；

3-2.利用Transformer的编码器从表现空间中挖掘内在的多模态上下文；第s个头的多模态上下文atten^[s]的表达式如下：

其中，Tran(·)表示Transformer的编码器；

3-3.采用具有N_v迭代的动态路由过程，获取多种模态之间的全局最优公共表示；在每次迭代时，利用耦合系数来分析和之间的信息流，该耦合系数通过基于初始化为0的临时累积变量计算得到，具体表达式如下：

3-4.以胶囊的加权和为基础，并借助相应的和多模态上下文atten^[s]，获得高层胶囊如下：

3-5.通过卷积操作，多头的高层胶囊集成到最终的模态感知公共信息{com_a,com_v,com_t}中；然后，通过卷积操作将所有感知模态的公共信息合并到最终的多模态公共表示common＝conv(concat(com_a,com_v,com_t),kernel)；

步骤四、将步骤三所得的多模态公共表示common输入线性分类层，将输出信息与情感类别标签进行对比，得到被测对象在提取被测数据时所处的情感分类情况。

2.根据权利要求1所述的一种基于注意力引导双向胶囊网络的多模态情感分类方法，其特征在于：三种模态数据用于识别被测对象所处的公众情感基准；公众情感基准共有两种，分别为正类情感和负类情感。