[发明专利]基于视频内容生成情感曲线的多源情感计算系统及方法

说明书

本发明公开一种基于视频内容生成情感曲线的多源情感计算系统及方法，涉及深度学习、计算机视觉、情感计算、音频处理和图像处理等技术。本系统包括视频内容特征提取模块、音频内容特征提取模块、特征融合回归模块和长视频分割与处理模块。本方法对从短视频片段中获取的视频和音频数据利用相应的特征提取卷积神经网络转换为视觉特征和听觉特征；对获取的视觉特征和听觉特征进行融合回归得到视频片段的情感值；最后组合输出长视频的情感序列，利用插值算法生成平滑的情感曲线。本发明实现了在计算机上计算视频情感变化曲线的自动化方法和系统，保留了观看者手工情感标注的特征，输出结果平滑自然，视觉效果更高，后续分析利用价值更大。

技术领域

本发明涉及深度学习技术、计算机视觉技术和视频处理技术，具体涉及一种基于视频内容生成情感曲线的多源情感计算系统及方法，是一种视频内容到情感曲线的生成技术。

背景技术

本发明所涉及的视频特指时长在1分钟以上的长视频，其通常包含视频内容和对应的音频数据。情感曲线特指视频带给观看者的情感反馈随时间的变化。情感由效价(Valence)和唤起(Arousal)2维情感值组成。效价表示情感的积极消极程度，唤起表示情感的强烈程度。计算视频的情感曲线是一项视频到情感曲线的转换任务，其目的为将输入的视频转化为情感曲线。近年来，基于深度学习的视频内容理解取得了显著进展，最近的研究提出了一系列系统的方法。例如，基于卷积神经网络(Convolutional Neural Network,CNN)方法；基于循环神经网络(Recurrent Neural Network,RNN)的方法。

然而，基于现有的技术，面向视频情感曲线的计算方法通常针对视频内容或音频内容进行计算，其难以利用综合的信息和特征，其生成的情感曲线变化与视频给观众带来的情感波动不符，无法直接作为视频的情感表示用于进一步处理。

发明内容

本发明的目的是提供一种基于二维和三维卷积神经网络，根据视频的视觉内容和听觉内容生成情感曲线的自动化方法和系统，以解决现有技术由视频生成情感表示的各种性能的综合效果较差的问题。

本发明基于视频内容生成情感曲线的多源情感计算系统，包括视频内容特征提取模块、音频内容特征提取模块、特征融合回归模块与长视频分割与处理模块。其中，视频内容特征提取模块用于从输入视频中提取视觉特征。音频内容特征提取模块用于计算输入视频的听觉特征。特征融合回归模块用于对视觉特征和听觉特征进行融合回归，并进行回归预测短视频对应的情感值。长视频分割与处理模块将输入的原始长视频分割成等长的短视频，再利用前述视频内容特征提取模块、音频内容特征提取模块和特征融合回归模块计算每个短视频的情感值，进行拼接组成整个长视频情感序列，然后对拼接后的长视频情感序列进行平滑化处理，得到原始输入视频的情感曲线。

针对上述基于视频内容生成情感曲线的多源情感计算系统，其多源情感计算方法为：

步骤1：通过视频切割工具将长视频V切割成等长度的短视频片段。

步骤2：各个短视频片段中提取视频采样帧，然后使用三维残差网络从连续的视频采样帧中提取短视频内容的视觉特征Feature_visual。

步骤3：计算各个短视频片段中音频的梅尔频率倒谱系数，将音频的梅尔频率倒谱系数作为输入提取短视频的听觉特征Feature_auditory。

步骤4：对于每一个短视频片段，将提取的Feature_visual和Feature_auditory进行融合，合并成统一的输入向量Feature，然后输入到回归器中，进而得到每一个短视频片段的情感值。

步骤5：对由前述步骤2～4得到每个短视频片段的情感值进行拼接形成长视频片段V的情感序列，并进行平滑处理。

相对于现有技术，本发明方法和系统的优点和积极效果在于：