[发明专利]基于多尺度特征抽取与多任务学习的视频情感分析方法

权利要求书

1.基于多尺度特征抽取与多任务学习的视频情感分析方法，其特征在于，具体步骤如下：

步骤S1：提取单模态特征表示；在原始视频片段数据之上使用单模态特征特征抽取子模型对视频、音频模态数据使用前馈神经网络提取单模态特征表示，对文本模态使用BERT模型抽取特征向量；

步骤S2：获取单模态多尺度特征表示；对步骤S1中的视频、音频特征表示分别使用通道注意机制，获得多尺度特征表示，再使用1×1卷积操作对其进行通道整合；

步骤S3：获取多模态融合结果：首先，使用跨模态交叉注意力的方式捕获文本视频和文本音频的之间的交互；其次，对于文本模态，使用自注意力机制捕获自身内在信息；最后，对上述得到的特征表示进行拼接得到多模态融合特征；

步骤S4：得到视频情感分析结果：将步骤S3得到的融合特征输入至由全连接层和激活函数组成的多模态特征情感分析子模型后得到视频的情感分析结果；将获取得到的单模态特征输入到单模态情感分析子模型进而得到单模态情感分析结果；

步骤S5：定义损失函数；通过多任务学习的方式对提出的模型进行训练，模型的损失函数由四个部分组成，分别是：1)文本情感分析损失函数；2)音频情感分析损失函数；3)视频情感损失函数；4)多模态融合情感分析损失函数；四种损失函数通过加权的方式组合成最终的损失函数。

2.根据权利要求1所述的基于多尺度特征抽取与多任务学习的视频情感分析方法，其特征在于，所述步骤S1中的提取单模态特征向量的子模型结构如下：

步骤S11：首先，对于文本模态的特征抽取工作，采用一个预训练的BERT模型抽取得到文本特征表示；

步骤S12：对于视频和音频模态的特征抽取工作，采用一个由五个网络层组成的特征抽取子模型进行各自模态的特征抽取；对于第一个网络层，利用一个单向长短期记忆网络LSTM捕获模态数据的时序特征；对于后续网络层，利用四个线性层进行特征维度转换和正则化保证数据稳定性；第一个网络层的输出如公式(1)所示：

同时采用ReLu函数作为激活函数，第2个网络层的输出如公式(2)、公式(3)和公式(4)所示：

3.根据权利要求1所述的基于多尺度特征抽取与多任务学习的视频情感分析方法，其特征在于，所述步骤S2中的获取单模态特征表示包括如下步骤：

步骤S21：首先，视频、音频模态经过步骤S1中的特征抽取子模型的处理后，得到每个网络层的输出；随后，对每一层的输出特征新增一个通道维度；最后，按通道进行堆叠得到一个堆叠的特征；如公式(5)所示：

步骤S22：利用通道注意力机制处理堆叠的特征，首先，使用Squeeze操作对每个通道的数据进行数据压缩和信息汇总进而得到全局的感受野，计算过程如公式(6)：

其次，使用Excitation操作为堆叠向量的每个维度生成权重；计算公式如(7)所示：

最后，使用Scale操作将堆叠向量与权重相乘并使用1×1的卷积核对结果进行通道整合，进而得到最终的视频和语音单模态多尺度特征，如公式(8)、公式(9)所示:

步骤S23：对于文本模态，利用bert处理后初始的768维的文本特征，随后利用一个线性层降低其维度至与视频、语音模态维度大小相等。

4.根据权利要求1所述的基于多尺度特征抽取与多任务学习的视频情感分析方法，其特征在于，所述步骤S3中的获取视频情感分析结果包含如下步骤：

步骤S31：将三种模态设置为文本-视频模态对、文本-音频模态对和文本单模态，对于前两者使用跨模态交叉注意，具体操作为是在计算注意力时，设置文本特征为Key，另一模态特征为Value和Query，同时使用多头注意计算得到文本-视频和文本-音频的融合结果；

步骤S32：对于文本单模态，使用自注意力机制捕获自身中对情感分析结果有用的信息；

步骤S33：将上述步骤得到的结果进行concat拼接得到最终的多模态融合特征。