[发明专利]基于EC-STFL损失函数的自然场景动态表情识别方法及装置

说明书

本发明公开了一种基于EC‑STFL损失函数的自然场景动态表情识别方法及装置，包括：（1）获取数据集，数据集中包含若干自然场景下的动态表情视频和对应的表情类别标签；（2）将数据集中的表情视频转换为表情图片序列；（3）将数据集划分为训练集和测试集，选择一个深度神经网络作为主干网络，结合EC‑STFL损失函数，搭建网络模型；（4）将数据集中的训练集的图片序列输入网络模型进行训练；（5）将数据集中的测试集图片序列输入到训练好的网络模型中，识别该视频中的表情类别。本发明结合了基于表情聚集‑时空特征学习（EC‑STFL）的损失函数和交叉熵损失函数的优势，在批处理阶段同时聚集同类表情、分离不同类的表情，有效地提高了自然场景下的动态表情识别率。

技术领域

本发明涉及视频处理、深度学习技术领域，尤其涉及一种基于EC-STFL损失函数的自然场景动态表情识别方法及装置。

背景技术

面部表情作为人类情感交流中的一种重要方式，一直是情感计算、人工智能研究中的热点话题。在过去二十年中，人们对面部表情图片和视频进行了大量研究。为了实现更加完美的、符合应用需求的表情识别系统，近年来，人们将研究目光从实验室场景下的表情转向了自然场景下的表情识别。与实验室场景相比，自然场景下的人脸表情识别受到来自不同光照、不同姿态、不同种族和其他不可预测、高挑战性场景因素的影响。因此，自然场景下的表情识别是一个挑战性极高的话题。自动表情识别在诸如心理疾病检测、教育评估、人机交互等领域有着巨大的潜在价值。目前许多研究者已经完成了实验场景下的表情识别分析。近来来，人们更加关注自然场景下的表情识别研究，因为自然场景下的表情识别包含了更多极端光照、姿态变化的情况。这些极具挑战性的使在实验室场景中训练出的模型效果变差。另一方面，与静态表情不同，动态表情包含了人脸肌肉运动的信息，也就是说，动态表情较之静态表情，更能反映出人的具体情感。

深度学习作为推动近十年来人工智能浪潮的一类方法，已经在计算机视觉、自然语言处理、语音识别等领域取得了巨大成功，它也为真实场景下的动态表情识别指明了道路。以物体识别为例，一些基于卷积神经网络的方法，在诸如ImageNet等数据库上，已经达到了超过人类的识别能力的水平。然而，因为包含更多极端光照、姿态变化等情况，基于深度学习的自然场景动态表情识别仍然十分困难。

发明内容

发明目的：本发明针对现有技术存在的问题，提供一种基于EC-STFL损失函数的自然场景动态表情识别方法及装置，识别准确率更高。

技术方案：本发明所述的基于EC-STFL损失函数的自然场景动态表情识别方法包括：

(1)获取数据集，数据集中包含若干自然场景下的动态表情视频和对应的表情类别标签；

(2)将数据集中的表情视频转换为表情图片序列；

(3)将数据集划分为训练集和测试集，选择一个深度神经网络作为主干网络，结合EC-STFL损失函数，搭建所需的网络模型；

(4)将数据集中的测试集图片序列输入到训练好的网络模型中，识别该视频中的表情类别；

(5)将数据集中的测试集图片序列输入到训练好的网络模型中，识别该视频中的表情类别。

进一步的，步骤(2)具体包括：

(2-1)将数据库中的每个自然场景下的表情视频转换为表情图像序列；

(2-2)检测所述表情图像序列中各帧的人脸，丢弃不包含人脸的帧，将包含人脸帧中的人脸部分切割出来；

(2-3)结合(2-2)检测出的人脸关键点，对人脸表情图片进行仿射变换，将切割出的各帧人脸表情图片规范化；

(2-4)利用插值和关键帧挑选算法对将由(2-3)获取的人脸图像进行处理，得到每个表情视频对应的相同帧数人脸图像。

进一步的，步骤(3)具体包括：