[发明专利]一种部分遮挡工况下的面部表情识别方法

说明书

本发明涉及一种部分遮挡工况下的面部表情识别方法，包括以下步骤：S1：获取识别对象的未受遮挡面部图像，计算平均脸信息熵图，并构建面部投影空间；S2：获取同一识别对象的部分遮挡面部图像，计算部分遮挡面部信息熵图，并将部分遮挡表情投影到面部投影空间；S3：利用平均脸信息熵图和受遮挡面部信息熵图，得到受遮挡区域定位；S4：利用面部投影空间和受遮挡区域定位，重构得到无遮挡面部重构图像；S5：利用无遮挡面部重构图像中的遮挡区域和部分遮挡面部图像中的未受遮挡区域，获得重构后的面部图像；S6：对重构后的面部图像进行特征提取和分类，得到表情识别结果，与现有技术相比，本发明具有鲁棒性高等优点。

技术领域

本发明涉及计算机视觉与模式识别领域，尤其是涉及一种部分遮挡工况下的面部表情识别方法。

背景技术

随着汽车智能化的发展，驾乘人员与汽车之间的交互问题逐渐成为竞争热点，诸如差异化人机交互、车内人员情绪检测、动作检测、语音语义判断等。对乘员的情绪进行检测，最直接的手段就是摄像头对面部表情的实时捕捉。该手段可以通过在车内安放表情识别器来实现。表情识别器能够监控并检测车内人员是否出现了表情上的变化，再依此对车内人员的生理和心理变化进行解读，由此达成对行驶状态及车内环境状态的实时调控。这不仅会提高驾驶过程中的安全性，也可以改善用户体验，从而实现人机和谐共驾。

而对于表情识别的研究，其对象通常在实验室环境下进行信息采集，这类面部图像的采集要求较高，对于面部遮挡有着严格的限制，在这样高要求的面部图像采集下，现阶段的表情识别才有了较为令人满意的效果。但是表情识别技术在真实自然环境下面临的挑战更为复杂，由于面部可能存在墨镜，口罩等物品的遮挡，让很多面部特征提取方法失效，降低识别准确率，现有面部表情识别技术的鲁棒性差。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种部分遮挡工况下的面部表情识别方法，该方法有助于解决现实环境中面部遮挡可能会造成的特征缺失的问题，进一步提升表情识别技术的应用范围及鲁棒性。

本发明的目的可以通过以下技术方案来实现：

一种部分遮挡工况下的面部表情识别方法，包括以下步骤：

S1：获取识别对象的未受遮挡面部图像，计算平均脸信息熵图，并构建面部投影空间；

S2：获取同一识别对象的部分遮挡面部图像，计算部分遮挡面部信息熵图，并将部分遮挡面部图像投影到面部投影空间，获得投影向量；

S3：利用平均脸信息熵图和受遮挡面部信息熵图，得到受遮挡区域定位；

S4：利用面部投影空间和受遮挡区域定位，重构得到无遮挡面部重构图像；

S5：利用无遮挡面部重构图像中的遮挡区域和部分遮挡面部图像中的未受遮挡区域，获得重构后的面部图像；

S6：对重构后的面部图像进行特征提取和分类，得到表情识别结果。

进一步地，所述的步骤S1具体包括：

S11：获取识别对象的多张未受遮挡面部图像；

S12：对未受遮挡面部图像依次进行灰度化、直方图均衡化和尺寸归一化处理；

S13：计算识别对象未受遮挡下的平均脸，并绘制成平均脸图像；

S14：利用平均脸，通过PCA降为构建识别对象的面部投影空间；

S15：计算平均脸图像对应的平均脸信息熵图。

所述的步骤S13，具体包括：

将识别对象的多张未受遮挡面部图像的灰度矩阵的每一列依次首尾相连，并通过拉伸转换成灰度值向量，形成识别对象的总灰度值矩阵，求得平均脸向量，并绘制成平均脸图像；