[发明专利]基于光流梯度幅值特征的人脸微表情检测方法

说明书

本发明基于光流梯度幅值特征的人脸微表情检测方法，涉及用于识别图形记录载体的处理，该方法首先根据人脸关键点拟合人脸边缘提取人脸感兴趣区域，用FlowNet2网络提取视频序列中人脸图像帧间的光流场，然后提取人脸感兴趣区域的光流梯度幅值特征，再计算及处理特征距离并进行噪声消除，完成基于光流梯度幅值特征的人脸微表情检测，克服了在人脸微表情检测的现有技术中，存在提取的人脸图像运动特征中无法捕捉微小的人脸微表情运动，特征中包含过多干扰信息，易受头部偏移，眨眼运动和累积噪声影响及特征距离分析中单帧噪声影响的缺陷。

技术领域

本发明的技术方案涉及用于识别图形记录载体的处理，具体地说是基于光流梯度幅值特征的人脸微表情检测方法。

背景技术

人脸微表情检测在国家安全、临床医学和司法系统多个领域都有广泛应用，如通过人脸微表情检测辨别恐怖分子之类危险人物，使用人脸微表情检测训练软件对精神分裂症患者进行辅助治疗，通过人脸微表情检测分析罪犯的犯罪心理以帮助侦查审讯等。目前，人脸微表情的研究工作多集中于人脸微表情识别，然而用于识别人脸微表情的视频序列帧需要手动标记，不但耗费大量的人力与时间，而且对标记人员要求较高。因此急需使用计算机视觉、人工智能等先进技术进行人脸微表情自动检测，实现人脸微表情片段的精准定位，以提高人脸微表情识别的效率，扩大人脸微表情检测的应用范围。

当前人脸微表情检测方法主要分为基于规则、基于机器学习与基于深度学习的方法。基于规则的人脸微表情检测方法主要是提取纹理和光流特征，使用特征距离分析，手动制定规则进行人脸微表情检测。文献“Towards Reading Hidden Emotions:A ComparativeStudy of Spontaneous Micro-expression Spotting and Recognition Methods”使用LBP特征与HOOF特征进行特征提取，使用特征差异分析方法进行人脸微表情检测。文献“Amain directional maximal difference analysis for spotting facial movementsfrom long-term videos”提出用于人脸微表情检测的主方向最大差异(Main DirectionalMaximal Difference，MDMD)特征，能获得更优的人脸微表情运动信息。但这些基于规则的人脸微表情检测方法所提取特征只能获得一些简单、基本的特征，无法对图像进行深层次的表达。基于机器学习的人脸微表情检测方法同样提取纹理特征、光流特征一类传统特征，使用SVM、随机森林方法进行分类。文献“LTP-ML:micro-expression detection byrecognition of local temporal pattern of facial movements”使用滑动窗口与PCA降维提取局部时间(Local Temporal Pattern，LTP)特征，使用SVM进行分类。机器学习分类需要以固定帧数的视频序列为单位提取特征，但人脸微表情发生时间的长短不固定。基于深度学习的人脸微表情检测方法将神经网络引入人脸微表情检测研究。文献“Micro-expression detection in long videos using optical flow and recurrent neuralnetworks”提取光流特征，使用递归神经网络(RNN)检测包含人脸微表情的视频序列。基于深度学习的人脸微表情检测方法将特征学习融入到了建立模型的过程中，能够减弱手工特征的不完备性，能够提取更具判别性的特征，然而深度学习的人脸微表情检测方法需要大数据集的支撑，人脸微表情数据库的缺乏导致深度学习算法不能很好地用于人脸微表情检测工作。