[发明专利]视频情绪识别系统、方法

权利要求书

1.一种视频情绪识别系统，其特征在于，包括预处理模块和预设的视频情感识别多模态模型；其中，

所述预处理模块用于对预输入的原始长视频进行预处理以形成目标视频的短时视频片段；其中，所述预处理模块包括三模态处理单元和片段划分单元，其中，

所述三模态处理单元用于提取所述原始长视频的文本数据、音频数据和视频图像，并分别对所述音频数据进行数据转换以获取梅尔频谱，对所述视频图像进行数据帧处理以获取单人单帧图像；

所述片段划分单元用于按照预获取的时间表将处于同一时间片段内的文本数据、梅尔频谱和单人单帧图像进行数据对齐以获取目标视频的短时视频片段；

所述视频情感识别多模态模型包括特征数据提取模块和融合预测模块；其中，所述特征数据提取模块用于对所述目标视频的短时视频片段进行特征提取以分别获取频谱融合特征数据、视觉模态信息数据和文本特征数据，所述融合预测模块用于根据所述频谱融合特征数据、视觉模态信息数据和文本特征数据获取获取情绪权重，并获取与所述情绪权重相对应的视频情绪预测值；

其中，所述特征数据提取模块包括分层注意力单元，所述分层注意力单元用于对所述目标视频的短时视频片段中的梅尔频谱进行分块和重塑处理以形成频谱块，采用分层注意力机制对所述频谱块进行特征提取以获取局部声学特征，并对所述局部声学特征进行聚合处理以形成频谱融合特征数据。

2.如权利要求1所述的视频情绪识别系统，其特征在于，

所述融合预测模块分别对所述频谱融合特征数据、所述视觉模态信息数据和所述文本特征数据进行赋权处理以获取音频情感参数、图像情感参数和文本情感参数，根据所述音频情感参数、图像情感参数和文本情感参数进行推测预测以获取情绪权重，并获取与所述情绪权重相对应的视频情绪预测值；其中，所述音频情感参数、图像情感参数和文本情感参数的最优参数在训练所述融合预测模块时获取。

3.如权利要求2所述的视频情绪识别系统，其特征在于，

所述特征数据提取模块还包括视觉模态信息提取模型、Albert模型；其中，

所述视觉模态信息提取模型用于自动提取所述目标视频的短时视频片段中单人单帧图像的视觉模态信息数据；

所述Albert模型用于提取所述目标视频的短时视频片段的文本特征数据。

4.如权利要求3所述的视频情绪识别系统，其特征在于，

训练所述视觉模态信息提取模型时，利用多分支特征学习方法提取预采集的样本图像帧的融合特征以反复训练基于RepVGG的多分支特征学习和单分支推理结构以形成视觉模态信息提取模型；

应用所述视觉模态信息提取模型时，应用所述视觉模态信息提取模型中的单分支推理结构和所述单分支推理结构中的ReLU层；其中，所述单分支推理结构包括卷积分支和识别分支，所述卷积分支和识别分支用于获取所述目标视频的短时视频片段中单人单帧图像的融合中间特征；所述ReLU层用于根据所述融合中间特征获取所述单人单帧图像的视觉模态信息数据。

5.如权利要求3所述的视频情绪识别系统，其特征在于，

所述Albert模型利用矩阵分解和跨层参数模型对所述目标视频的短时视频片段中的文本数据进行特征提取以获取文本特征数据。

6.如权利要求2所述的视频情绪识别系统，其特征在于，

所述融合预测模块包括Transformer层和前反馈模型；其中，

所述Transformer层用于对所述频谱融合特征数据、所述视觉模态信息数据和所述文本特征数据进行赋权处理以形成音频情感参数、图像情感参数和文本情感参数；

所述前反馈模型用于通过预训练的前反馈网络对所述音频情感参数、图像情感参数和文本情感参数执行多模式融合处理以获取情绪权重，并获取与所述情绪权重相对应的视频情绪预测值。