[发明专利]基于典型区域多维度特征的三维人脸表情识别方法

说明书

本发明提出一种基于典型区域多维度特征的三维人脸表情识别算法，具体包括以下步骤：首先，对三维人脸数据进行预处理操作，获取更规格化的点云数据；接着，进行三维人脸表情典型区域的自动标定，根据鼻尖点位置，完成眼部区域(E区)、鼻子区域(N区)和嘴巴区域(M区)的自动标定；然后，分别提取三个典型区域的三维特征和二维特征，进行高斯归一化，并特征融合；最后，根据各典型区域的融合特征进行SVM训练，实现三维人脸表情识别。本发明不仅能观察出人脸不同区域对于不同表情的贡献程度，而且能有效地识别三维人脸的不同表情。

技术领域

本发明涉及计算机视觉以及模式识别领域，具体来说涉及一种基于典型区域多维度特征的三维人脸表情识别方法。

背景技术

人脸表情识别是计算机视觉以及模式识别领域的热点研究问题，自20世纪80年代以来的三十年间受到了越来越多研究人员的重视。同时作为人工智能以及情感分析的重要分支，人脸表情识别在人机交互、重症病房监护等领域具有很大的研究价值以及应用前景。

早期的人脸表情识别专注于二维图像以及图像序列，也即视频上的算法实现。但是由于二维人脸图像是三维物体的二维平面投影，在投影过程中必然会损失纹理、形状等特征，还会受到姿态、光照等的影响。因此，近些年来，基于三维人脸点云模型的表情识别逐渐成为该领域的研究重点。

三维人脸表情识别通常包括三个主要步骤，分别为人脸图像预处理、表情特征提取和表情分类。基于此，本发明提出一种基于面部表情典型区域混合维度的三维人脸表情识别方法。针对三维人脸不同区域对表情的影响程度，将人脸划分为三个典型区域。刘慧敏等人在《地图上等高线信息度量的层次方法研究》一文中详细介绍了等高线图信息的利用方法。本发明基于等高线图信息度量研究，提出针对三维人脸典型区域等高线图的信息度量方法。全面的利用了人脸等高线图，极大地丰富了三维特征的信息量。然后，将三维人脸典型区域映射到二维平面进行研究。最后，结合典型区域的二维和三维特征实现三维人脸表情识别。

发明内容

本发明针对三维人脸点云数据，提出一种基于面部表情典型区域多维度的三维人脸表情识别方法。

首先，对三维人脸点云数据进行预处理操作，得到规格化的三维人脸点云数据；然后，自动标定三维人脸面部表情典型区域，分别为眼部区域(E区)、两颊区域(N区)和嘴巴区域(M区)。分别提取这三个典型区域的二维和三维特征；最后，根据提取的二维和三维特征进行SVM训练，实现三维人脸表情识别。具体流程如下：

1.人脸数据预处理

根据获取的原始三维人脸点云数据特点，对其进行剪切、去刺、平滑、补洞、坐标校正、网格对齐重采样的一种或几种预处理工作，从而得到规格化后的三维人脸点云数据。

2.三维人脸表情典型区域自动标定

人脸表情通常指高兴、悲伤、愤怒、惊讶、厌恶和恐惧6种。在人脸呈现不同表情时，其眼部、两颊和嘴巴三个区域会呈现不同的特征，且这些不同特征对于不同表情有着良好地描述能力。基于此，本发明就这三个人脸表情典型区域进行自动标定，以进行后续的研究和分析。

三个典型区域的自动标定，首先需要确定人脸的鼻尖点，然后再进一步确定各个区域。具体步骤如下：

(1)鼻尖点的确定

本发明采用BU-3DFE三维人脸数据库，由于此数据库中的三维人脸点云都有严格的坐标限定，即采集实验者人脸点云时人脸与正对的三维数据采集设备平面连线并指向图像采集方向为Z轴正方向，与Z轴垂直平面为X轴、Y轴所在的二维平面，并且符合右手定则，水平方向为X轴，向右为X轴正方向，竖直方向为Y轴，向上为Y轴正方向。故由人脸解剖学可以获取人脸正面最高点，即该点坐标的Z轴坐标值最大点即为大体鼻尖端点。出于准确性考虑，提取Z轴坐标最大点及其邻接各点的三维坐标，取平均以获取更加准确的鼻尖三维坐标。

(2)E区、N区和M区的自动标定