[发明专利]表情识别方法、装置、设备及存储介质

权利要求书

1.一种表情识别方法，包括：

确定待处理视频对应的至少两帧待识别图像，每帧待识别图像中均包含人脸区域；

对所述至少两帧待识别图像中的每帧待识别图像进行人脸表情识别，得到所述待处理视频对应的第一表情识别结果；

对所述至少两帧待识别图像形成的至少一个图像帧序列进行人脸表情识别，得到所述待处理视频对应的第二表情识别结果；

对所述第一表情识别结果和所述第二表情识别结果进行融合处理，得到所述待处理视频对应的表情识别结果。

2.根据权利要求1所述的方法，其中，所述对所述至少两帧待识别图像中的每帧待识别图像进行人脸表情识别，得到所述待处理视频对应的第一表情识别结果，包括：

利用预先训练的离散帧表情识别模型依次对所述至少两帧待识别图像中的每帧待识别图像进行人脸表情识别，得到所述待处理视频对应的第一表情识别结果；

所述离散帧表情识别模型包括：纹理特征识别模型和/或粒度特征识别模型，所述纹理特征识别模型是利用视频图像样本集对计算机视觉组网络进行训练得到的，所述粒度特征识别模型是利用视频图像样本集对第一神经网络进行训练得到的，所述第一神经网络包括：计算机视觉组网络和双线性模型。

3.根据权利要求1或2所述的方法，其中，所述至少两帧待识别图像形成的至少一个图像帧序列进行人脸表情识别，得到所述待处理视频对应的第二表情识别结果，包括：

利用预先训练的连续帧表情识别模型依次对所述至少一个图像帧序列进行人脸表情识别，得到所述待处理视频对应的第二表情识别结果；

所述连续帧表情识别模型包括：非局部特征识别模型和/或时空特征识别模型，所述非局部特征识别模型是利用视频图像样本集对第二神经网络进行训练得到的，所述第二神经网络包括：计算机视觉组网络、非局部信息模块和门控循环单元，所述时空特征识别模型是利用视频图像样本集对C3D网络进行训练得到的。

4.根据权利要求3所述的方法，其中，在所述对所述至少两帧待识别图像形成的至少一个图像帧序列进行人脸表情识别，得到所述待处理视频对应的第二表情识别结果之前，所述方法还包括：

根据所述至少两帧待识别图像，确定至少一个图像帧序列，其中，每个图像帧序列均具有第一数量的待识别图像，且相邻两个图像帧序列均有第二数量的待识别图像重合，所述第二数量的取值小于第一数量的取值。

5.根据权利要求4所述的方法，其中，所述第一数量等于所述第二数量的2倍。

6.根据权利要求5所述的方法，其中，所述第一数量为16帧，所述第二数量为8帧。

7.根据权利要求1-6任一项所述的方法，所述方法还包括：

确定所述待处理视频对应的待识别音频信息；

基于预设的音频识别模型，提取所述待识别音频信息的音频特征；

根据所述音频特征，得到所述待处理视频对应的第三表情识别结果；

相应的，所述对所述第一表情识别结果和所述第二表情识别结果进行融合处理，得到所述待处理视频对应的表情识别结果，包括：

对所述第一表情识别结果、所述第二表情识别结果和所述第三表情识别结果进行融合处理，得到所述待处理视频对应的表情识别结果。

8.根据权利要求1-6任一项所述的方法，所述确定待处理视频对应的至少两帧待识别图像，包括：

对获取到的待处理视频进行拆解，得到至少两帧视频图像和待识别音频信息；

对所述至少两帧视频图像中的每帧视频图像进行图像预处理，得到所述至少两帧待识别图像；

其中，所述图像预处理包括如下至少一种：人脸检测、人脸关键点检测、尺寸处理、归一化处理、增强处理。