[发明专利]一种基于复杂环境下的人脸情绪识别方法

权利要求书

1.一种基于复杂环境下的人脸情绪识别方法，其特征在于该方法将人脸划分为额头、眉眼、脸颊、鼻子、嘴巴、下巴主要区域，并进一步划分为68个特征点，针对上述特征点，在常态情况下使用人脸面部和表情特征分类的方法，在光照、反射、阴影条件下使用Faster R-CNN基于面部区域卷积神经网络的方法；在运动、抖动、晃动和移动复杂情况下的贝叶斯网络、马尔科夫链、变分推理相结合的方法；在人脸显示不全、多人脸环境、嘈杂背景条件下使用深度卷积神经网络和超解析度对抗性神经网络SRGANs、增强学习、反向传播算法、丢弃算法相结合的方法，有效地促进人脸表情识别的效果、准确度和可靠性。

2.根据权利要求1所述的基于复杂环境下的人脸情绪识别方法，其特征在于所述的特征点，为68个特征点,形成人脸的特征点的均匀分布，并提供一套测定指标，所述指标包括可追踪(Traceable)、轻微(Slight)、中等(Medium)、显著(Marked)、极大(Great)、最强(Maximum)共6个状态。

3.根据权利要求2所述的基于复杂环境下的人脸情绪识别方法，其特征在于针对以上各种复杂度人脸识别过程，将特征和分类器进行联合优化，发挥特征表达和分类器联合协作的功能，并将输入层、隐藏层和输出层的线性映射和深层神经网络的非线性映射进行结合，在光照、模糊、阴影的条件下，采用传统RWM相关向量机的特征点提取和Faster R-CNN神经网络的特征分类相结合，促进在这种条件下的人脸情绪识别准确度。

4.根据权利要求3所述的基于复杂环境下的人脸情绪识别方法，其特征在于对于人脸在识别过程中，还可以进行去干扰处理，即在20层以上的深层卷积神经网络中，利用多层神经网络在抽象、聚类、表征上的优越性，在确保移动嵌入式设备的视频抓拍过程中人脸高效处理的同时，对于各种复杂的非人脸固有的特征进行剥离；结合超解析度对抗网络，通过对抗性训练的正反例方法计算正反例人脸图像的对抗损失和重构高分辨率图像和原始高分辨率图像损失的加权和，获得以上复杂情况下的人脸表情识别；将反向传播算法运用在深度神经网络学习过程中，检查了人脸识别的误差,并使用随机梯度下降方法对隐藏层-隐藏层、隐藏层-输出层的权值进行更新，促进神经网络学习过程中的全局优化。

5.根据权利要求4所述的基于复杂环境下的人脸情绪识别方法，其特征在于光照、反射或阴影情况下采用快速区域卷积神经网络和传统RVM分类器相结合和的方法，通过人脸检测迅速从视频摄像头中快速定位人脸区域并获取人脸面部特征点信息，具体地说，通过对光照强度和方向、反射、阴影照度的量化，采用确定光照模式，把光照系统分为光源、人脸和光照环境，确定光照模型中的全局环境光线强度、观察点位置、人脸及背景的正面和背面计算光照、镜面颜色计算及其分离，对光照、反射和阴影进行光照消除、反射吸收和光照补偿，消除这些光照复杂情况下的人脸识别的负面影响；采用光照模型包括环境光的漫反射模型、皮肤的镜面反射模型和基于材质和纹理的朗伯光照模型中的一种对人脸的光照进行处理，生成光照射的各种训练样本和测试样本；采取尺寸归一化、光照归一化结合的方式对人脸图像进行抽象预处理；将以上非人脸固有的属性从人脸中剥离出来；将分割后的人脸区域图像送到训练好的快速区域卷积神经网络中，快速获取人脸各区域部位的特征；串联所有人脸区域的特征，并采用支持向量机RVM监督学习的分类器进行表情的分类，形成在光照、反射或阴影的人脸情绪识别。

6.根据权利要求4所述的基于复杂环境下的人脸情绪识别方法，其特征在于在移动、晃动和模糊的复杂情况下，根据静态状况下的分类特征，使用贝叶斯卷积神经网络进行无监督的深度学习，根据视频连续抓取的人脸图片，提取人脸特征，采用贝叶斯分类器进行自动分类,并解决数据拟合问题。

7.根据权利要求6所述的基于复杂环境下的人脸情绪识别方法，其特征在于在一般分布和普通维度下，采用EM期望值最大化算法，在统计数据中计算期望值，利用对人脸参数隐藏变量的现有估计值，计算最大似然估计值；在最大化期望值的基础上通过最大后验估计计算人脸参数的值；通过数据挖掘的方法，对数据进行描述性聚类分析，根据相似度、空间距离或密度将数据对象自动分别为若干类，使用朴素贝叶斯分类器方法进行以上类和数值数据的推理，对人脸的喜、怒、哀、乐等八种情绪进行分类和细分。