[发明专利]基于脸部微表情的认知状态识别系统及方法

说明书

本发明公开了一种基于脸部微表情的认知状态识别系统及方法，该系统包括：数据获取模块、数据处理模块和认知分类模型；数据获取模块用于获取用于训练的视频数据；数据处理模块用于对视频数据进行处理，将视频数据截取为固定帧数的短视频；将数据处理模块处理好的短视频输入认知分类模型对其进行训练；数据获取模块还用于获取未知状态的测试对象的待识别视频数据并输入至训练好的认知分类模型；认知分类模型输出评估结果。本发明的基于脸部微表情的认知状态识别系统及方法，能够对测试对象的脸部视频数据进行分析处理，并自动对该测试对象的认知状态进行归类识别。

技术领域

本发明涉及一种基于脸部微表情的认知状态识别系统及方法。

背景技术

人的脸部可以传输信息，它是媒介，是信息传输器。脸部表情识别技术是近几十年来才逐渐发展起来的，由于面部表情的多样性和复杂性，并且涉及生理学及心理学，表情识别具有较大的难度。

微表情通常发生在一个人试图隐藏他的真实感受的时候,它是人类心理活动的真实表达,如若被有效捕捉,可以准确评估其心理和生理状态。所以近年来,微表情检测与识别工作逐渐引起了学者的关注,但由于微表情强度微弱,容易受环境因素扰动,持续时间短,发生部位区域狭小与不确定,一般传感器很难捕捉识别,所以微表情识别成为一个热门的研究领域。

发明内容

本发明提供了一种基于脸部微表情的认知状态识别系统及方法，采用如下的技术方案：

一种基于脸部微表情的认知状态识别系统，包括，数据获取模块、数据处理模块和认知分类模型；

数据获取模块用于获取用于训练的视频数据，视频数据包含认知状态正常的测试对象的视频数据和认知状态异常的测试对象的视频数据；

数据处理模块用于对视频数据进行处理，将视频数据截取为固定帧数的短视频；

认知分类模型包括：AU区域划分模块、特征提取模块、预测模块、检验模块和分类模块；

将数据处理模块处理好的短视频输入认知分类模型对其进行训练；

AU区域划分模块用于针对短视频中的每一帧图像进行面部特征点识别，将每一帧图像划分成不同的AU区域；

特征提取模块用于将每一个AU区域输入对应的CNN，得到相应AU区域的特征向量，将每一帧图像的所有AU区域的特征向量进行串联得到每一帧图像的多标签AU特征；

预测模块用于将每一帧图像的多标签AU特征输入LSTM网络进行AU预测，得到每个短视频对应的不同的AU出现的概率；

检验模块用于对预测模块的结果进行显著性检验，确定差异AU；

分类模块用于将认知状态正常和状态异常作为类别标签，将差异AU的概率作为特征标签，使用SVM进行二分类，完成认知状态评估模型训练工作；

数据获取模块还用于获取未知状态的测试对象的待识别视频数据并输入至训练好的认知分类模型；

认知分类模型输出评估结果。

进一步地，认知状态评估模型还包括预处理模块；

预处理模块用于通过VGG网络对输入至认知分类模型的短视频中的每一帧图像进行预处理后输入至AU区域划分模块。

进一步地，数据处理模块将视频数据截取为固定帧数的短视频，且相邻的短视频具有部分重叠帧数。

进一步地，数据处理模块将视频数据截取为固定帧数为n的短视频，且相邻的短视频具有部分重叠帧数为0.1n-0.4n。

一种基于脸部微表情的认知状态识别方法，包含以下步骤：