[发明专利]基于深度学习的人脸微表情识别系统

说明书

本发明实施例公开了一种基于深度学习的人脸微表情识别系统，包括对输入图像进行人脸微表情识别、且包括特征特征提取模块和图像识别模块的深度网络模型。特征提取模块用于提取图像识别特征，包括深度特征提取子模块和判别性特征提取子模块；深度特征提取子模块依次包括第一卷积层及多个空洞卷积模块；空洞卷积模块用于对第一卷积层输出的卷积结果进行数据处理并输出深度特征；判别性特征提取子模块用于利用基于判别性区域提议网络得到的多个判别性区域对深度特征进行裁剪，并将裁剪后的特征进行特征放大，以作为图像识别特征。图像识别模块对图像识别特征进行微表情识别并输出识别结果。本申请可高效、快速、准确地实现人脸微表情的识别。

技术领域

本发明实施例涉及计算机视觉技术领域，特别是涉及一种基于深度学习的人脸微表情识别系统。

背景技术

近几年来，受益于计算资源的快速发展，深度学习领域成为研究热点，而计算机视觉由于具有巨大的实用价值更是炙手可热的研究领域，并且在图像分类、目标检测与图像分割等任务上相较于传统机器学习取得了巨大的性能提升。尽管语言是人类交流的首选工具，但是表情所传达的信息则更为丰富，微表情能够传达出真实的感受和动机，脸部微表情识别有利于使得计算机视觉技术朝着更加智能化的方向发展。

相关技术在进行人脸微表情识别时，需要分为多个独立的处理步骤，较为繁琐；还需对原图进行裁剪，对裁剪区域多次使用卷积网络提取特征，测试时间长，效率低下；此外，网络模型存在手工特征设计过程，因此网络最终性能存在瓶颈，不会太高。

例如一种人脸微表情识别可包括下述步骤：首先进行人脸检测，并在检测出的人脸图像上结合Sobel算子边缘检测算法和Shi-Tomasi 角点检测算法检测人脸地标点，以检测出的地表点定义多层感知机 (Multi-Layer Perceptron)神经网络的输入特征，进行脸部表情的识别。此外，相关技术中的基于深度学习的表情分类及微表情检测的方法，还可通过人脸地标点的检测得到一系列裁剪区域，对原图进行裁剪之后分别送入深度学习网络结构得到特征，并进行最终的微表情分类。

发明内容

本公开实施例提供了一种基于深度学习的人脸微表情识别系统，解决了已有的人工特征设计和测试多步骤繁琐导致准确率不高、效率低下的问题，高效、快速、准确地实现了人脸微表情的识别。

为解决上述技术问题，本发明实施例提供以下技术方案：

本发明实施例提供了一种基于深度学习的人脸微表情识别系统，包括用于对输入图像进行人脸微表情识别的深度网络模型，所述深度网络模型包括用于提取图像识别特征的特征提取模块和用于对所述图像识别特征进行微表情识别并输出识别结果的图像识别模块；

其中，所述特征提取模块包括深度特征提取子模块和判别性特征提取子模块；

所述深度特征提取子模块依次包括第一卷积层及多个空洞卷积模块；空洞卷积模块用于对所述第一卷积层输出的卷积结果进行数据处理并输出深度特征；

所述判别性特征提取子模块用于利用基于判别性区域提议网络得到的多个判别性区域对所述深度特征进行裁剪，并将裁剪后的特征进行特征放大，以作为所述图像识别特征。

可选的，所述判别性特征提取子模块包括：

判别性区域中心点坐标确定单元，用于基于所述深度特征，利用判别性区域提议网络得到N个判别性区域中心点坐标；所述判别性区域提议网络沿数据流处理方向依次包括空洞卷积模块、卷积层及全连接层；

判别性区域确定单元，用于基于各判别性区域中心点坐标和预设边长确定相应判别性区域；

裁剪单元，用于利用各判别性区域对所述深度特征进行裁剪；

特征放大单元，用于分别将裁剪后的N个特征的特征图尺寸放大至所述深度特征的特征图尺寸。