[发明专利]一种基于情感分类的视频情感定位方法

说明书

一种基于情感分类的视频情感定位方法，包括：通过人脸识别模型进行视频预处理，将人脸识别的检测结果作为情感定位网络训练集；建立情感定位网络，使用卷积神经网络提取图像局部特征，建立多分支图像特征，使用视觉transformer算法获取情感类别；判断各帧之间情感类别关系，删除误检或者异常结果；将相同表情识别结果，且时序距离较近作为视频中情感定位候选片段；基于情感类别获取的情感定位片段，获取视频候选片段特征，过滤判断错误候选片段；输出模型对视频情感定位结果，具体包括情感片段首尾时间及对应情感类别。本发明能够改善定位片段预设鲁棒性不佳的缺点，保证情感分类准确性的同时提升视频情感定位速率。

技术领域

本申请涉及计算机视觉领域，尤其涉及一种基于情感分类的视频情感定位方法

背景技术

随着互联网及数字相机等科技产品的飞速发展，视频数据量得到了爆炸式增加，因此对于视频内容的分析收到了越来越多的关注，其中对人的情感分析占有较大比例，情感分析在人机交互、家居物联网、机器人等领域扮演着重要角色。目前视频情感数据获取方式(行人检测、人脸识别等技术)已经得到了较大进步，相关算法实现了高速率、高准确率的效果，在日常生活中已经随处可见。对人情感的解析有助于提升设备智能化，提升人机交互体验。

情感分类技术近几十年来一直受到广大学者的关注，早期主要注重于传统算法，例如LBP、HOG和SIFT等。近年来随着深度学习技术的发展，情感分类技术也取得了较大进步，采用CNN算法获取人脸特征，进而对特征进行划分是该技术主要思路。现有工作主要集中于基于全局特征和基于局部特征，基于全局特征主要依靠损失函数的不断改进，但是该方法容易忽视局部重要特征；基于局部特征可以借助关键点定位人脸关键部位，但是由于实际情况下图像中人脸位置多变、说话或者遮挡等因素，基于局部的方法无法准确定位人脸关键位置，从而易导致情感分类效果不佳。

目前视频情感定位算法主要集中在整体层面或者滑动窗口方式：整体层面通过将整段视频作为情感分析的输入，进而确定视频情感类别，但是在实际生活中视频数据获取并不是人为刻意设置首尾时间，此外，人类情感的变化较快，同类情感维持时间较短，在一段视频中可能存在多个情感片段；滑动窗口方式则是通过获取视频中多个片段确定情感定位，但是由于受到滑动窗大小等预先定义的影响，导致获取的片段不够灵活，起止时间不够精确。所以，在视频情感分析中快速且准确定位情感发生的首尾时间非常重要。

发明内容

本发明要克服现有技术的上述缺点，提供一种基于情感分类的视频情感定位方法，从而快速并且准确得到视频中不同情感所涉及的片段。

本发明的一种基于情感分类的视频情感定位方法，包括：

S1.通过人脸识别模型进行视频预处理，将人脸识别的检测结果作为情感定位网络训练集；

S2.建立情感定位网络，生成情感定位片段；

S201.建立情感定位网络，使用卷积神经网络提取图像局部特征，建立多分支图像特征；包括：使用Resnet卷积神经网络获取图像特征，为了寻找多个重要局部特征，建立多分支图像特征同时每个分支引入1*1卷积核进行特征降维，借助注意力机制，训练模型聚焦于多个局部特征，获取重要局部特征信息。

S202.使用视觉transformer算法获取情感类别；包括：将获取的注意力特征图像进行降维操作，将2D序列转成1D序列，作为视觉transformer的输入，预测各情感类别概率，将概率最高的情感作为该图片输出；S203.判断各帧之间情感类别关系，删除误检或者异常结果；包括：将情感曲线变化阶段作为需要进行定位的情感时间段，通过各帧图片情感概率预测，存在误检或者异常结果；

S204.将相同表情识别结果，且时序距离较近作为视频中情感定位候选片段；

S205.基于情感类别获取的情感定位片段，获取视频候选片段特征，过滤判断错误候选片段；