[发明专利]面向短视频场景的主题情感分析方法

权利要求书

1.面向短视频场景的主题情感分析方法，其特征在于：所述方法的具体执行步骤如下：

步骤1，数据预处理；采集原始的视频，并将其剪辑成长度为1min，只包含一种情感的短视频；

步骤2，建立音频网络模型和视频网络模型，分别对两个网络进行训练，通过一种决策融合方法生成最终的结果；

步骤3，输出最终的情感分类结果。

2.根据权利要求1所述的面向短视频场景的主题情感分析方法，其特征在于：步骤1包括如下分步骤：

步骤1a，将短视频转换成连续的视频帧图片，每隔24帧截取一张图片，然后将每4张连续的视频帧图片保存为一组，每5组设为模型的输入；

步骤1b，采用对数梅尔能量带和梅尔频率倒谱系数作为音频特征，针对每一对窗口和滑动窗口大小，提取40个对数梅尔能量带系数和60个梅尔频率倒谱系数特征，其中60个梅尔频率倒谱系数由20个第一系数，20个一阶偏导系数和20个二阶偏导系数组成，沿着频域将这些特征保存为音频图谱；

步骤1c，对步骤1a、1b中的视频帧和音频图片进行数据增强操作，包括平移，翻转，旋转，颜色抖动，对比度增强，亮度增强，颜色增强。

3.根据权利要求1所述的面向短视频场景的主题情感分析方法，其特征在于：步骤2包括如下分步骤：

步骤2a，为了捕获视频帧图片之间的时序关系，采用conv3D来构建视频网络并将步骤1a得到的视频帧图片输入视频网络，为了更好的提取视频帧图像中的特征，引入注意力机制；对于网络的输入，设x∈R^d，z∈R^k为特征向量，通过以下方式实现注意力机制：

a＝f_φ(x)

z_a＝z⊙a

其中f_φ为注意力网络，a为注意力向量，⊙为元素间相乘，通过特征向量与注意力向量相乘赋予每个特征不同的权值z_a；

对于视频网络模型，采用Bottleneckdesign残差结构的Resnet-50网络，设X代表网络的输入，H(X)为所需的变换，F(X)为残差映射，通过skip connection来执行特征融合的操作H(X)＝F(X)+X；

步骤2b，将步骤1b得到的音频图谱输入音频网络，该网络包括两个连续的CNN块，一个全连接的层，并且将softmax集成在此架构中以生成概率分布图；在音频网络中，每个CNN块均包含卷积层，ReLU激活函数和批处理归一化；然后，将每个CNN块的输出与输入沿频域合并，以在最大池化之前增加特征的数量；另外，在音频网络中，采用dropout机制来减少过拟合问题；

步骤2c，在完成上述步骤后，音频和视频网络通过全局阈值λ在决策级进行融合，其中全局阈值λ代表最终分类结果的正确性，其默认值为0.6；为了计算融合后的两个网络的全局阈值，将其与默认值进行比较；采用交叉投票机制，对于每一个网络分支，将其局部阈值μ设置为0.8；最终得到情感分类结果。

4.根据权利要求3所述的面向短视频场景的主题情感分析方法，其特征在于：步骤2c包括如下分步骤：

步骤2c-1，分别从音频网络和视频网络获取特征向量和其定义如下：

步骤2c-2，分别计算在向量和中正确元素的数量，然后将其与局部阈值μ进行比较来确定音频和视频网络分支的情感：

其中EA和EV是通过比较后决定的两个分支的情感；

步骤2c-3，计算每个视频帧的情感结果在整个音频结果中的比例，将其定义为P_atov，然后计算每个音频图像的情感结果在整个视频序列结果中的比例，以P_vtoa表示，最终结果如下：

λ_actual＝α×P_vtoa+(1-α)×P_atov

E_correct＝{λ_actual＞λ_default}

E_error＝{λ_actual＜λ_default}

其中α代表两种模态的权重，设置为0.2；E_correct表示最终的情感分类结果为真。