[发明专利]基于典型区域多维度特征的三维人脸表情识别方法

摘要

本发明提出一种基于典型区域多维度特征的三维人脸表情识别算法，具体包括以下步骤：首先，对三维人脸数据进行预处理操作，获取更规格化的点云数据；接着，进行三维人脸表情典型区域的自动标定，根据鼻尖点位置，完成眼部区域(E区)、鼻子区域(N区)和嘴巴区域(M区)的自动标定；然后，分别提取三个典型区域的三维特征和二维特征，进行高斯归一化，并特征融合；最后，根据各典型区域的融合特征进行SVM训练，实现三维人脸表情识别。本发明不仅能观察出人脸不同区域对于不同表情的贡献程度，而且能有效地识别三维人脸的不同表情。

主权项

1.一种基于典型区域多维度特征的三维人脸表情识别方法，其特征包括以下步骤：(1)对三维人脸数据预处理以获取更规格化的三维人脸点云数据，根据实际需要预处理操作包括剪切、去刺、平滑、补洞、坐标校正、网格对齐重采样；(2)实现三维人脸表情典型区域的自动标定，典型区域包括眼部区域即E区、两颊区域即N区和嘴巴区域即M区；(3)获取典型区域的等高线图，根据等高线图，分别提取典型区域的整体形态特征、坡度特征和弯曲度特征，并进行特征融合，得到典型区域三维特征；(4)将三维人脸典型区域映射到二维平面，分别对典型区域二维图像构造3层高斯金字塔，提取金字塔每层的LBP纹理特征，综合3层LBP特征，得到典型区域的二维纹理特征；(5)对典型区域的三维特征和二维特征分别进行高斯归一化和特征融合，针对典型区域融合特征进行SVM训练，实现三维人脸表情识别；所述步骤(3)中，典型区域等高线图的整体形态特征IZT提取公式：等高线图有m条等高线，被划分为T个基本形貌单元，其中，第i个基本形貌单元含有m_i条等高线，平均每个基本形貌单元包含的等高线为形貌单元的覆盖面积特征指标为s_i，等高线图总面积为s；典型区域等高线图的整体形态特征I_ZT提取公式如下：其中，IGC(m)和IFG(s)分别表示等高线图高差特征的多样性产生的信息量和形貌单元覆盖区域的差异信息量；所述步骤(3)中，典型区域等高线图的坡度特征IPD提取公式：第w个形貌单元Tw有mw条等高线，每两条相邻等高线围成的区域求取坡度qj，具体表述为：qj＝aj/lj,1≤j≤mw   (2)其中，lj和aj分别为第j条与第j+1条等高线围成区域的中轴线长度和区域面积；对第w个形貌单元Tw，依次求取各相邻等高线间的坡度，并求取所有坡度的平均值q；第w个形貌单元Tw的坡度差异性信息量IPD(Tw)为：由此，综合坡度差异信息量，得到等高线坡度特征IPD表达式：其中，T表示区域内等高图被分解为基本形貌单元的总数；所述步骤(3)中，提取典型区域的弯曲度特征IWD具体如下：一幅等高线图有m条等高线，对于其任一条等高线Lu，首先对等高线进行弯曲划分，得到一个弯曲有序集；对该弯曲有序集中的每一个弯曲，采用式(3‑1)和式(3‑2)计算弯曲度fuv和弯曲面积比puv；其中，n为曲线的弯曲个数；luv是曲线Lu的第v个弯曲的曲线长度，duv是第v个弯曲底线宽度；suv表示第v个弯曲的曲线长度和底线宽度所围成的面积，即弯曲面积；sz表示所有弯曲的弯曲面积均值；从而，单条等高线的弯曲度特征IWQ(Lu)为：典型区域等高线图的弯曲度信息量IWQ提取公式：其中，n为曲线的弯曲个数,m表示等高线图有m条等高线，fuv对应于等高线Lu经弯曲划分后的第v个弯曲的弯曲度；puv对应于等高线Lu经弯曲划分后的第v个弯曲的弯曲面积比；IWQ(Lu)对应等高线Lu包含的弯曲度信息量；IWQ为整个区域内所有等高线包含的弯曲度信息量；求所有等高线的平均弯曲信息，记为IWP；等高线的形态复杂度IWX为：则弯曲度特征IWD为：IWD＝IWQ+IWX   (6)。