[发明专利]基于空洞卷积的CNN微表情识别方法

说明书

本发明公开了一种基于空洞卷积的CNN微表情识别方法，基于空洞卷积神经网络，在MTCNN和VGG16网络的基础上完成人脸微表情的自动获取与识别功能，通过空洞卷积有效提升网络感受野，避免图像边缘特征及细微特征在卷积过程中丢失，提出感受野更大、识别准确度更高的人脸微表情识别算法具有较高的鲁棒性，同时结合人脸表情自动识别，形成一套从人脸检测与发现到微表情分类的整体框架，利用相似网络结构从一定程度上避免了人工筛选。

技术领域

本发明属于微表情识别技术领域，涉及一种微表情识别方法，具体是一种基于空洞卷积的CNN微表情识别方法。

背景技术

微表情是人脸特殊的肌肉动作产生的细微变化，作为一种自然机制的面部行为，无法伪造且反应人类内心真实情感，周期维持在0.04-0.5秒之间，动作幅度细微，肉眼不易发现，在公共安防、心理治疗、谈判交流预测等领域具备广泛的应用价值，但由于人工识别受到专业训练和时间成本的限制，虽然具备专业工具，但通过人力进行识别的效果仅为47％，难以进行大规模推广。

微表情识别包括人脸识别、人脸校准和微表情分类三个模块，通过主动形状模型(Active Shape Model，ASM)和局部二进制模式(Local Binary Pattern，LBP)对微表情进行自动识别,目前，微表情识别的研究主要集中在微表情特征提取及其分类上。

在特征提取上，一方面通过传统的特征提取方法如LBP算子、HOG特征点获取的特征通常是图像浅层特征，虽然这些基于特征的方法从时空纹理的角度充分考虑了人脸表情的变化，但无法有效的描述样本的结构信息，难以区分高维特征间的关系；另一方面，通过光流法等基于运动特征的特征提取方法完成微表情识别，往往由于光流算法的计算量过大，无法满足实时分析需求，不能完成大规模的微表情识别；同时，实际拍摄视频的连续帧间也会存在缺乏足够灰度等级变化的区域，会存在真实运动漏检现象。

在微表情分类上，随着深度网络的发展，深度神经网络开始应用于人脸微表情识别过程中，总结现有的微表情分类网络，随着层数的不断增加虽然提取到充分的特征信息，但也增加了神经节点的计算量，在卷积过程中会丢失关键的细节特征；同时现有的微表情数据库都是特定环境下完成视频帧分割筛选后得到的清晰人脸正向图像，训练的模型在实际应用场景下，识别率较测试时普遍下降明显，实时系统的应用情况欠佳。

发明内容

本发明的目的在于提供一种基于空洞卷积的CNN微表情识别方法，

本发明的目的可以通过以下技术方案实现：

一种基于空洞卷积的CNN微表情识别方法，具体包括以下步骤：

步骤S1，实时采集人脸视频，送入多任务卷积神经网络模型。

步骤S2，通过多任务卷积神经网络模型快速检测和识别实时人脸视频中的人脸图像。

步骤S3，通过人脸自动矫正模块进行人脸自动矫正，对步骤2中识别的人脸图像区域进行校正。

步骤S4，通过结合空洞卷积的CNN模型对校正后的人脸图像进行微表情特征提取。

步骤S5，通过类sofmax分类算法完成微表情实时分析。

步骤S6，输出微表情识别结果。

进一步地，步骤S2中的人脸检测和识别包括以下步骤：

步骤S21，摄像头实时检测，获取并传输多帧连续人脸视频图像。

步骤S22，转换RGB图像，获取图像参数，包括图像高度h和宽度w。

步骤S23，定义多任务卷积神经网络模型的模型参数，包括最小人脸尺寸，模型训练过程中三个阶段的临界值和模型比例因数。