[发明专利]一种基于深度学习的微表情识别方法

说明书

本发明公开了一种基于深度学习的微表情识别方法，其包括如下步骤：1：对含有表情动作的视频数据裁剪、视频分帧，提取；2：对提取的表情序列进行人脸对齐，人脸裁剪，进行归一化等预处理；3：将得到的数据集进行数据增强操作；4：搭建神经网络模型：5：将所有人脸表情数据按比例分成训练集和测试集；6：使用测试集对模型进行测试，输出识别准确率，识别时间，误差等信息，当识别率达到要求，选择当前模型。采用本发明的一种基于深度学习的微表情识别方法，具有简单而高效,成本低廉、精度高等优点。

技术领域

本发明涉及图像处理技术领域，尤其涉及一种基于深度学习的微表情识别方法。

背景技术

情绪识别技术随着仪器设备的更新与人工智能的发展而日趋成熟，其广泛应用于临床医学、情绪智力、国家安全以及政治心理学等各个领域。现有情绪识别方法主要包括以下两种，一是基于精密仪器的体征检测，通过检测人体脑电、心电、脉搏波等生理信号达到情绪的识别分类，二是基于机器学习的面部情绪智能识别检测，其主要通过捕捉人脸面部肌肉的运动状况，例如开心的时候嘴角上扬，以此实现情绪识别。

前者经常需要较为昂贵和复杂的设备，虽然其检测结果准确度高，但检测费用高、且均属于接触式，数据的采集过程较为复杂，也耗费人力，容易给被试者带来不适，因此在实际应用中具有一定的局限性，不适宜大规模推广，常用于一些特殊场景，例如航天员情绪检测、参与重大救援后军人情绪检测；后者是目前常用的一种识别检测手段，这种方法无需昂贵设备，同时操作简单。但其不能保证所检测识别情绪的准确性，虽然面部表情看起来可以直观地显示情感的变化，但是许多内在的情感变化过程并没有伴随视觉的面部活动被感知，人们可以掩饰和隐藏他们的情感体验，使观察者误会表情的含义，从而影响情绪识别精度。

微表情是人类自发的、难以控制的一种传递情绪的方式。除了我们日常见到的普通的宏表情，在某些特定的场合中，微表情也传达着人类的各种情绪，并且简短、不易察觉、不易掩饰。人可以通过对于情感的控制来掩盖内心真实想法，但是微表情不可能通过控制来掩盖情感。因此微表情可以被参考用来判断人们内心真实想法。基于这一特点，微表情研究在智能医疗、公共安全、司法刑侦等领域有广泛的应用价值。人的脸部是传输信息的媒介，脸部的表情可以表达人类的情绪，所以面部表情在人们日常生活中扮演着非常重要角色。

通常在日常生活中，我们所指的面部表情是“宏表情”，其容易被察觉且持续时间一般为0.5～4s之间。在表达人类感情时，“宏表情”通常能够掩饰真实情感的流露。而与“宏表情”相对的“微表情”，不容易被注意且持续时间约为1/25～1/5s。由于微表情有不受控制，持续时间短且活动幅度小的特点，所以它可以泄露性地表达了人们压抑或试图隐藏的真实情绪。

目前基于深度学习的微表情识别遇到的问题主要有数据集没有足够大，网络结构不够完善所导致的识别率不高的问题和目前识别所采用复杂、昂贵的设备而导致的采集复杂费用过高的问题。

发明内容

为解决上述问题，申请人经过深入研究，发明了一种基于深度学习的微表情识别方法，其技术方案包括以下几个步骤：

步骤1：对含有表情动作的视频数据裁剪，裁剪后的视频要求统一时长为3秒，将裁剪好的视频分帧，提取表情开始到结束的表情图片序列；

步骤2：对提取的表情序列进行人脸对齐，人脸裁剪，以及归一化，均衡化，白化等预处理；

步骤3：将得到的数据集进行数据增强的操作，扩充数据集的大小；

步骤4：搭建神经网络模型；

步骤5：将所有人脸表情数据分成训练集和测试集，使用训练集经过网络进行模型训练；

步骤6：使用测试集对模型进行测试，输出识别准确率，识别时间，误差等信息，当识别率达到要求，选择当前模型；

进一步地，前述步骤4中搭建神经网络模型还包括如下操作：