[发明专利]基于多尺度特征抽取与多任务学习的视频情感分析方法

说明书

本发明提出了一种基于多尺度特征抽取与多任务学习的视频情感分析方法。首先，为了提取到多尺度特征，本发明提出了一种多尺度特征提取方法，该方法使用通道注意力对不同隐藏层的输出进行建模。其次，提出了一种基于关键模态的多模态融合策略，利用注意力机制提高关键模态的比例，并挖掘关键模态与其他模态之间的关系。最后，使用多任务学习方法训练所提出的模型确保模型可以学习更好的特征表示。经过实验，本发明在公开的多模态情感分析基准数据集上取得的情感分析准确率优于现有的算法与发明。

技术领域

本发明涉及情感分析领域的多模态视频情感分析技术领域，特别是基于多尺度特征抽取与多任务学习的视频情感分析方法。

背景技术

目前，深度学习已经广泛应用于计算机视觉、自然语言处理、文本信号处理等领域。此外，深度学习以及神经网络在情感分析、图像分类、文本翻译等领域，也展现出了接近甚至超越人类的水平。为了更好的理解本发明，以下介绍几个深度学习领域的基本概念。

深度学习：深度学习是机器学习领域的一个新的研究分支。深度学习通过学习数据样本的内在分布规律和数据的层次表示，使得计算机能够对诸如文本、图片、声音、视频等数据有强大的分析能力，其目的是希望计算机能够像人类一样具有一定的智能行为。

视频情感分析：情感分析是视频理解任务中的一个重要的研究方向，通过对视频分析发现画面中人物的情感状态，目前已经在人机交互、医疗诊断、侦查审讯等领域有重要的应用价值。随着深度学习技术的快速发展，人们已经不满足于仅使用一种模态来分析视频的情感，而是使用多种模态的数据进行融合后对视频情感进行分析。相比单模态数据，多模态数据包含的信息更丰富，更能揭示用户的真实情感。对这些海量多模态数据的情感进行分析有助于更好地理解人们的态度和观点，具有广泛的应用场景。

多尺度特征抽取：多尺度特征抽取是指不同的特征抽取方式或者在特征抽取的不同阶段对抽取得到的特征具有不同的尺度。

多任务学习：多任务学习指的是在神经网络的学习过程通过利用多个任务之间的相关信息来提高所有任务的泛化性能。

由于多源异构数据分布在不同的模态表示空间中，不同空间之间的壁垒导致各模态的特征向量难以实现紧密耦合，并且在模态的融合过程中较少考虑模态内外的信息交互，可能会忽略不同模态之间的信息互补能力。因此现需要一种更高效的基于多模态的视频情感分析方法，能够更好的提取不同模态的特征并建模模态间的联系

发明内容

有鉴于此，本发明的目的在于提供一种基于多尺度特征抽取与多任务学习的视频情感分析方法，更好的提取不同模态的特征并建模模态间的联系。

为实现上述目的，本发明采用如下技术方案：基于多尺度特征抽取与多任务学习的视频情感分析方法，具体步骤如下：

步骤S1：提取单模态特征表示；在原始视频片段数据之上使用单模态特征特征抽取子模型对视频、音频模态数据使用前馈神经网络提取单模态特征表示，对文本模态使用BERT模型抽取特征向量；

步骤S2：获取单模态多尺度特征表示；对步骤S1中的视频、音频特征表示分别使用通道注意机制，获得多尺度特征表示，再使用1×1卷积操作对其进行通道整合；

步骤S3：获取多模态融合结果：首先，使用跨模态交叉注意力的方式捕获文本视频和文本音频的之间的交互；其次，对于文本模态，使用自注意力机制捕获自身内在信息；最后，对上述得到的特征表示进行拼接得到多模态融合特征；

步骤S4：得到视频情感分析结果：将步骤S3得到的融合特征输入至由全连接层和激活函数组成的多模态特征情感分析子模型后得到视频的情感分析结果；将获取得到的单模态特征输入到单模态情感分析子模型进而得到单模态情感分析结果；