[发明专利]用于情绪状态监测的面部运动单元双流特征提取方法

说明书

本申请提供一种用于情绪状态监测的面部运动单元双流特征提取方法，其中，利用第一卷积神经网络和循环神经网络，确定每种预设面部子区域图像对应的第一图像时空特征信息，利用第二卷积神经网络对每种预设面部子区域对应的光流图进行降维和时空特征提取，确定每种预设面部子区域对应的第二时空特征信息，基于每种预设面部子区域对应的第一图像时空特征信息和所有第二图像时空特征信息，确定监测个体的情绪状态分布。本申请同步提取面部视频帧序列的光流和特征图流，充分考虑到图像中面部区域的空间特征及在相邻帧间运动的时间特征，解决了传统算法提取的语义特征重复的缺陷，简化了计算步骤从而降低计算时间复杂度，提高了计算的效率和准确度。

技术领域

本申请涉及心理和数据处理领域，具体涉及一种用于情绪状态监测的面部运动单元双流特征提取方法。

背景技术

情绪，是对一系列主观认知经验的通称，是多种感觉、思想和行为综合产生的心理和生理状态。最普遍、通俗的情绪有喜、怒、哀、惊、恐、爱等，也有一些细腻微妙的情绪，例如嫉妒、惭愧、羞耻、自豪等。情绪常和心情、性格、脾气、目的等因素互相作用，也受到荷尔蒙和神经递质影响。无论正面还是负面的情绪，都是引发人们行动的动机。尽管一些情绪引发的行为看上去没有经过思考，但实际上意识是产生情绪重要的一环。可见关注个体的情绪特征对于进行情绪引导和人们的安全能够起到非常重要的作用。

目前，分析个体的情绪特征的技术方案中，大多需要先根据人脸结构特征建立人脸区域划分模板，再根据模板匹配和OpenCV提供的眼睛、嘴巴分类模型等算法划分面部区域，在实际应用过程中较容易受到外部光线、肤色的影响，同时当面部角度偏离直视角度时划分效果较差，导致确定的情绪特征准确度低。同时，时间特征与空间特征提取的方法大多是分开进行的，空间特征大多包含HOG特征、Gabor特征、LBP特征等，提取多种特征往往会导致特征内容的重复。时间特征大多采用光流法，并通过PCA、LDA等方式实现特征降维，最终将时空特征融合。此类完全将时间空间特征分开提取再融合的方式由于集成了多种不同的算法，计算量过大，计算过程复杂，不能满足实时性的要求。

发明内容

(一)解决的技术问题

针对现有技术的不足，本申请提供了一种用于情绪状态监测的面部运动单元双流特征提取方法，解决了上述技术问题中的至少一个。

(二)技术方案

为实现以上目的，本申请通过以下技术方案予以实现：

第一方面，本申请提供了一种用于情绪状态监测的面部运动单元双流特征提取方法，包括：

获取包含目标个体面部的待处理视频；

基于人脸检测器从待处理视频中提取目标个体的面部区域视频；

针对面部区域视频中的每张面部区域图像，对该面部区域图像进行分割，分别得到每种预设面部子区域对应的图像；

针对每种预设面部子区域，利用第一卷积神经网络提取该预设面部子区域对应的每张图像中的图像空间特征信息，并按照该预设面部子区域对应的每张图像的时间先后顺序，依次将该预设面部子区域对应的每张图像的图像空间特征信息输入循环神经网络，利用所述循环神经网络提取输入的图像空间特征信息中时间特征信息，得到该预设面部子区域对应的第一图像时空特征信息；

针对每种预设面部子区域，按照该预设面部子区域对应的每张图像的时间先后顺序，依次将相邻图像形成的光流图输入第二卷积神经网络，利用第二卷积神经网络提取每相邻两张图像对应的第二时空特征信息；

针对每种预设面部子区域，利用全连接网络对该预设面部子区域对应的第一图像时空特征信息和所有的第二图像时空特征信息进行降维、加权和全连接处理，得到该预设面部子区域对应的目标特征特征信息；