[发明专利]基于带权重局部旋度模式的三维人脸表情识别方法

说明书

本发明提供一种基于带权重局部旋度模式的三维人脸表情识别方法，首先计算并获取输入人脸的三维向量场，在此向量场中计算人脸各点的旋度向量；其次，将输入人脸的存储格式写成矩阵形式，并将矩阵各元素替换成旋度向量，生成旋度分量图像；对旋度各分量分别进行编码，提取局部旋度模式特征；采用ICNP算法将输入人脸与标准模板人脸进行点对匹配，提取输入人脸的11个子区域；基于最小投影偏差算法计算输入人脸各子区域的表情权重；最后，将输入人脸各区域的原始LCPs特征乘以对应区域的表情权重，得到带权重的LCPs特征，将其输入到分类器中以完成表情识别。本发明的LCPs特征与原始的旋度向量相比，不仅维度降低、便于后续计算，表情识别能力得到较大提升。

技术领域

本发明属于计算机视觉中三维图像识别的领域，具体涉及一种基于带权重局部旋度模式的三维人脸表情识别方法。

背景技术

三维人脸表情识别技术指的是基于人脸的三维数据，计算机实现对人脸表情识别的技术。这项技术在人机交互和心理学研究等领域具有巨大的应用潜力。与二维数据相比，人脸的三维数据不受光线、姿态、角度等因素的影响，同时包含更丰富的几何信息和拓扑特征，因此基于三维人脸数据的表情识别研究近年来获得了更广泛的关注。三维人脸表情识别算法可分为两类：基于概率模型的识别算法和基于特征的识别算法。前者指的是将不同形式的概率模型(包括通用模型和形变模型等)用于三维人脸的拟合，以提取面部形变信息和表情信息，进而实现表情识别的算法；后者指的是在三维人脸上提取点或曲面的几何特征用于描述表情变化下的人脸形变，以实现表情识别的算法。二者相比，后者具有更低的计算复杂度，同时对拓扑结构的变化(例如嘴部的开合)有更好的鲁棒性，因此具有更高的应用价值。

然而，基于特征的三维人脸表情识别算法研究仍面临多重困难。特征提取是研究中的难题之一。在当前三维人脸表情识别研究中，学者们广泛应用的特征有两类，第一类特征的构造依赖于五官特征点的准确位置，这类特征包括特征点间欧式距离、局部形状分析(Local Shape Analysis,LSA)、梯度方向直方图(Histogram of Oriented Gradients,HOG)、几何散射表示(Geometric Scattering Representation,GSR)、尺度不变特征变换(SIFT)、图形拉普拉斯特征(Graph Laplacian Features,GLF)。然而由于当前三维人脸特征点定位算法的精度仍有较大提升空间，因此这类特征的可靠性不高。第二类特征不需要借助五官特征点的位置，而是基于人脸的三维数据提取能够描述人脸形变的几何特征，这类特征包括法向量、曲率和形状指数等。由于第二类特征的提取避免了特征点定位的步骤，因此这类特征稳定性较好，算法的应用价值较高。然而，法向量、曲率和形状指数等特征对人脸形变的描述仍不够全面，对表情变化的敏感程度不够高，表情识别效果仍有待提升。

特征的权重计算是三维人脸表情识别技术研究中的另一难题。由于人脸不同区域对表情的敏感程度不同，导致不同区域对表情识别的贡献能力有较大差异。通过划分人脸子区域并根据各区域的贡献大小赋予其权重，可以显著提高表情识别的效果。当前最普遍的人脸划分方法是将三维人脸映射到二维灰度图像后，进行规则化的方块式划分。这种做法虽简单易操作，但却破坏了五官的完整结构，模糊了人脸各子区域的边界，削弱了表情权重的可靠性。

发明内容

发明目的：为了解决现有技术的问题，本发明提供一种在无需借助人脸特征点定位的情况下，自动地提取三维人脸的局部旋度模式特征，表征面部的表情信息，提高三维人脸表情识别的准确率的基于带权重局部旋度模式的三维人脸表情识别方法。

技术方案：本发明给出的基于带权重局部旋度模式的三维人脸表情识别方法的步骤如下：

(1)计算输入的人脸各点的三维向量场，设输入的三维人脸点云为P，