[发明专利]一种基于运动单元的多域融合微表情检测方法

权利要求书

1.一种基于运动单元的多域融合的微表情检测方法，其特征在于，包括步骤如下：

(1)对微表情视频进行预处理，包括获取视频帧序列、人脸检测与定位、人脸对齐；

(2)利用OpenFace对经过预处理后获取的视频帧序列进行运动单元检测，获取视频帧序列的运动单元信息；

(3)根据运动单元信息，通过半决策算法，找到包含微表情运动单元信息量ME最多的一个面部运动单元子块作为微表情检测区域，同时，通过设置动态阈值，提取微表情运动单元信息量ME的若干峰值帧作为微表情检测的参考高潮帧；

(4)通过多域融合的微表情检测方法实现微表情的检测，包括：

首先，在时空域中，提取视频帧序列中面部运动单元子块的光流特征，得到其光流模值和光流角度；

其次，利用三维快速傅里叶变换，提取视频帧序列的频域特征，得到频域幅值变化信息；

最后，将光流模值和归一化的频域幅值相加，辅以光流角度，在极坐标系下，通过动态阈值初步定位其面部运动单元子块下微表情的起始帧和终止帧；同时，根据步骤(3)中的参考高潮帧对起始帧和终止帧进行判断，若起始帧和终止帧中包含该参考高潮帧，且长度符合微表情长度，则为一段检测出的微表情序列，否则，不为微表情序列。

2.根据权利要求1所述的一种基于运动单元的多域融合的微表情检测方法，其特征在于，步骤(1)中，对微表情视频进行预处理，包括步骤如下：

A、获取视频帧：对包含微表情的视频进行分帧处理，得到视频帧序列并存储；

B、人脸检测与定位：利用Dlib视觉库对视频帧序列进行人脸检测和定位，给出所检测的视频帧中人脸数目和人脸距图像边界距离；

C、人脸对齐：利用Dlib视觉库确定面部68个关键特征点，完成人脸分割并实现人脸矫正，是指：Dlib视觉库使用矩形框分割人脸，同时检测出面部68个关键特征点，特征点37和特征点46的连线与水平线存在角度a，通过该角度a得到对应的旋转矩阵，对分割出的人脸进行旋转变换，使特征点37和特征点46的连线与水平线平行，实现人脸姿态的矫正；同时，将人脸进行缩放，得到255*255分辨率的视频帧。

3.根据权利要求1所述的一种基于运动单元的多域融合的微表情检测方法，其特征在于，步骤(2)中，对预处理后的视频帧序列进行微表情运动单元信息的提取，包括步骤如下：

选取OpenFace中17个运动单元作为微表情检测所关注的运动单元信息，包括前眉升起AU1、外眉上挑AU2、眉毛下压AU4、上眼皮上升AU5、脸颊上扬AU6、眼睑收紧AU7、眼睑收紧AU9、嘴唇上升AU10、嘴角拉伸AU12、嘴角收紧AU14、嘴角下压AU15、下巴上扬AU17、嘴唇拉伸嘴角向下AU20、双唇收紧AU23、双唇分开AU25、下颚下降AU26和抿嘴AU28；

将视频帧序列的每一帧与其前一帧进行对比，提取每一个运动单元是否存在的二进制编码；是指：对于AU来说，AU是指AU1、AU2、AU4、AU5、AU6、AU7、AU9、AU10、AU12、AU14、AU15、AU17、AU20、AU23、AU25、AU26和AU28中的任一种，若视频帧序列第i+1帧与第i帧之间存在对应的运动，则AU_i＝1，否则AU_i＝0，因此，每一个运动单元得到N-1维二进制的运动单元信息编码，N为视频帧序列长度，平滑后得到0到1范围内的连续值。