[发明专利]一种基于光流的微表情检测方法

权利要求书

1.一种基于光流的微表情检测方法，其特征在于，采用开源工具包dlib对视频样本中的每一帧图片进行人脸识别，并对人脸区域标记出感兴趣区域ROI及不易形变区域ROI‘；计算视频样本中相邻两帧的稠密光流，提取感兴趣区域ROI内的光流及不易形变区域ROI‘的光流，对二者做减法处理以去除头部晃动的影响；划定极坐标下的角度区域，在所划定的极坐标角度区域内分别计算视频样本中的每帧图片感兴趣区域ROI的主光流，并将视频样本中所有帧的主光流轨迹顺次由幅值和角度表示出来；根据幅值和角度轨迹捕捉视频样本中的微表情发生帧，并作出微表情标注。

2.根据权利要求1所述的基于光流的微表情检测方法，其特征在于，在人脸区域标记出感兴趣区域ROI为双眉区域、嘴唇四周区域和鼻尖区域。

3.根据权利要求2所述的基于光流的微表情检测方法，其特征在于，沿每条眉毛分别标记三个特征点，在上嘴唇和下嘴唇的中部各标记一个特征点，在两嘴角位置分别标记一个特征点，在鼻尖位置标记一个特征点。

4.根据权利要求1所述的基于光流的微表情检测方法，其特征在于，在鼻梁的上部区域标记一个特征点作为不易形变区域ROI‘。

5.根据权利要求1所述的基于光流的微表情检测方法，其特征在于，所划定的极坐标角度区域的方法是，在极坐标平面区共划分至少四个对称区域，分别为左右两个扇形区域和上下两个扇形区域，且左右两个扇形区域所呈圆心角为40～80°。

6.根据权利要求5所述的基于光流的微表情检测方法，其特征在于，计算视频样本中每帧图片感兴趣区域ROI的主光流幅值和角度的具体方法是，分别统计落入到所划分的四个角度区域内的光流的幅值之和，选出具有最大幅值的区域，计算落入到这个最大幅值区域的主光流，在极坐标系中表示出主光流轨迹的幅值和角度。

7.根据权利要求6所述的基于光流的微表情检测方法，其特征在于，根据幅值和角度轨迹捕捉视频样本中的微表情发生帧，并作出标注，其具体方法是：在视频样本中选取感兴趣区域ROI中的主光流幅值轨迹的最大值max；设定幅度阈值C*max(其中C＜1)并提取感兴趣区域ROI中的主光流幅值大于所设定幅度阈值的特征点轨迹，提取感兴趣区域ROI中特征点的完整波峰；针对所提取的波峰中的帧，根据特征点主光流的角度变化轨迹对发生微表情的帧作出标注。

8.根据权利要求7所述的基于光流的微表情检测方法，其特征在于，针对所提取的波峰中的帧，根据特征点主光流的角度变化轨迹对发生微表情的帧作出标注，具体方法是，统计角度为正的帧数和角度为负的帧数；将二者做减法处理，若所得差的绝对值小于所设定的角度阈值时，则对波峰中的帧作出微表情标注，计算公式：

式中：

表示第r个ROI内的主光流角度为正的帧数和角度为负的帧数的差值；

f_i^r表示第r个ROI内的第i帧；

B_crest表示符合幅度模式的帧的集合；

表示第r个ROI内符合幅度模式帧的主光流角度。

9.根据权利要求8所述的基于光流的微表情检测方法，其特征在于，所述的C值取值为0.5～0.8，所述的角度阈值为(0-1/2)*fps。

10.根据权利要求1所述的基于光流的微表情检测方法，其特征在于，在提取感兴趣区域ROI中的主光流幅值的过程中，若捕捉到的相邻微表情连续帧小于fps/10时，采用融合操作将间隔小于所设定间隔标注片段进行合并处理。