[发明专利]一种基于光流的微表情检测方法

说明书

本发明公开了一种基于光流的微表情检测方法，采用开源工具包dlib对视频样本中的每一帧图片进行人脸识别，并标记出感兴趣区域ROI及不易形变区域ROI‘；计算视频样本中相邻两帧的稠密光流，提取感兴趣区域内的光流及不易形变区域的光流，对二者做减法处理以去除头部晃动的影响；划定极坐标下的角度区域，在所划定的极坐标角度区域内分别计算视频样本中的每帧图片感兴趣区域ROI的主光流，并将视频样本中所有帧的主光流轨迹顺次由幅值和角度表示出来；根据幅值和角度轨迹捕捉视频样本中的微表情发生帧，并作出微表情标注。本发明可以实时展示微表情在各个感兴趣区域ROI中的运动情况，并且本身不需要数据进行训练，具有高效、直观、高准确率和稳定性的优点。

技术领域

本发明涉及微表情检测技术领域，具体涉及一种基于光流的微表情检测方法。

背景技术

微表情具有比肢体和话语更多的表达信息。其难以抑制的特点可以为揭示人的内心状态提供线索，在医疗和公共安全领域等有广泛的应用。微表情的标注和分析十分依赖专业的经验，标注者需要至少100小时的训练才能达到要求。此外该任务还非常耗时，平均要2小时才能标注完一个1 分钟长度的视频。基于微表情发生强度低，持续时间短(小于500ms)的特性，现有的微表情检测方法大多基于实验室环境，需要大量的时间训练模型，不能进行实时的标注且准确率不高。

发明内容

为了解决上述所存在的技术问题，减少标注者的工作量，提高对微表情的检测效率，实现对微表情进行快速、直观且更高准确率的标注，为此，本发明提供了一种基于光流的微表情检测方法。

本发明采用如下技术方案：

一种基于光流的微表情检测方法，采用开源工具包dlib对视频样本中的每一帧图片进行人脸识别，并对人脸区域标记出感兴趣区域ROI及不易形变区域ROI‘；计算视频样本中相邻两帧的稠密光流，提取感兴趣区域ROI 内的光流及不易形变区域ROI‘的光流，对二者做减法处理以去除头部晃动的影响；划定极坐标下的角度区域，在所划定的极坐标角度区域内分别计算视频样本中的每帧图片感兴趣区域ROI的主光流，并将视频样本中所有帧的主光流轨迹顺次由幅值和角度表示出来；根据幅值和角度轨迹捕捉视频样本中的微表情发生帧，并作出微表情标注。

在人脸区域标记出感兴趣区域ROI为双眉区域、嘴唇四周区域和鼻尖区域。

沿每条眉毛分别标记三个特征点，在上嘴唇和下嘴唇的中部各标记一个特征点，在两嘴角位置分别标记一个特征点，在鼻尖位置标记一个特征点。

在鼻梁的上部区域标记一个特征点作为不易形变区域ROI‘。

进一步地，所划定的极坐标角度区域的方法是，在极坐标平面区共划分至少四个对称区域，分别为左右两个扇形区域和上下两个扇形区域，且左右两个扇形区域所呈圆心角为40～80°。

计算视频样本中每帧图片感兴趣区域ROI的主光流幅值和角度的具体方法是，分别统计落入到所划分的四个角度区域内的光流的幅值之和，选出具有最大幅值的区域，计算落入到这个最大幅值区域的主光流，在极坐标系中表示出主光流轨迹的幅值和角度。

根据幅值和角度轨迹捕捉视频样本中的微表情发生帧，并作出标注，其具体方法是：在视频样本中选取感兴趣区域ROI中的主光流幅值轨迹的最大值max；设定幅度阈值C*max(其中C＜1)并提取感兴趣区域ROI中的主光流幅值大于所设定幅度阈值的特征点轨迹，提取感兴趣区域ROI中特征点的完整波峰；针对所提取的波峰中的帧，根据特征点主光流的角度变化轨迹对发生微表情的帧作出标注。

针对所提取的波峰中的帧，根据特征点主光流的角度变化轨迹对发生微表情的帧作出标注，具体方法是，统计角度为正的帧数和角度为负的帧数；将二者做减法处理，若所得差的绝对值小于所设定的角度阈值时，则对波峰中的帧作出微表情标注，计算公式：

式中：