[发明专利]基于视频放大和深度学习的人脸微表情识别方法

说明书

本发明提供一种基于视频放大和深度学习的人脸微表情识别方法。方法包括：利用基于干扰消除的视频放大技术放大微表情视频数据的动作幅度；将进行放大处理后的视频数据分割为视频帧图像，并根据数据集中所给微表情标签提取出所有属于微表情的图像序列，组成新数据集；对处理后的视频进行脸部裁剪预处理操作，同时将所有视频图像序列统一裁剪为110*110大小的灰度图像；将预处理后的新数据放入卷积神经网络模型并进行训练，提取微表情特征数据，实现微表情的识别任务。本发明提供的技术方案，通过对完整数据集进行消除干扰的视频放大操作，加大了表情动作幅度，同时引入神经网络模型进行训练，有效提升了在情绪标签全分类基础下微表情识别的准确率。

技术领域

本发明属于图像处理与模式识别技术领域，具体地说，涉及一种基于视频放大和深度学习的人脸微表情识别方法。

背景技术

微表情是一种极为短暂的动作幅度微小的面部表情，通常持续时间不会超过0.5秒，微表情能更加精准的表示人类的心理活动，内心的流露和掩饰能够通过微表情表达出来。由于微表情所具有的这些特点，使它在测谎、临床诊断、教育和犯罪调查领域有着广泛的应用前景。

目前基于计算机自动识别微表情的方法主要分为以下几类:基于局部二值模式(Local binary pattern，LBP)及其改进方法的识别，基于光流场特征的检测和识别,以及基于张量分析的识别等。各类识别与检测方法依旧局限于利用传统技术和方法对微表情进行任务实现，工作计算量大、耗时长且普适性差，更为重要的是，由于微表情持续时间短且动作幅度小的特点，传统技术和方法很难在识别精度上有进一步的提升空间，这已经成为了目前微表情识别技术发展的最大瓶颈。

发明内容

本发明所要解决的技术问题是提供一种基于视频放大和深度学习的人脸微表情识别方法，用以提高人脸微表情识别的准确率和识别处理速度。

本发明公开了一种基于视频放大和深度学习的人脸微表情识别方法，包括以下步骤：

S1、利用基于干扰消除的视频放大技术放大微表情视频数据的动作幅度；

S2、将进行放大处理后的视频数据分割为视频帧图像，并根据数据集中所给微表情标签提取出所有属于微表情的图像序列，组成新数据集；

S3、对处理后的视频进行脸部裁剪预处理操作，同时将所有视频图像序列统一裁剪为110*110大小的灰度图像；

S4、将预处理后的新数据放入卷积神经网络模型并进行训练，提取微表情特征数据，实现微表情的识别任务。

如上所述的方法，其中，S1步骤的实现过程具体包括

S11、在视频数据集中对人脸进行关键点定位，找出每个视频中眼部坐标的位置；

S12、利用基于相位的视频放大技术对数据视频进行放大处理；

S13、将未经过放大处理的原始视频中的眼睛部位进行裁剪并替换放大后的眼部视频。

本发明提供的基于视频放大和深度学习的人脸微表情识别方法，通过对完整数据集进行消除干扰的视频放大操作，加大了表情动作幅度，同时引入神经网络模型进行训练，有效提升了在情绪标签全分类基础下微表情识别的准确率。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为视频放大前后眼部的差别对比图；

图2为本发明基于视频放大和深度学习的人脸微表情识别方法的流程图；

图3为本发明实施例的基于眼部干扰消除的视频放大方法流程图；