[发明专利]基于结构性稀疏特征学习的三维动态人脸表情识别方法

权利要求书

1.一种基于结构性稀疏特征学习的三维动态人脸表情识别方法，其特征在于，其步骤是：

（1）针对训练样本集，对图像序列预处理，将人类表情样本的RGB 和深度序列分别分割为三维模块，使整个序列中的脸部图像像素位置一致；

（2）提取每个三维模块的LBP-TOP纹理特征；

（3）以三维模块纹理特征为编码字典训练样本，通过字典初始化和更新流程分别得到RGB 和深度序列的编码字典B；利用编码字典B计算得到所有三维模块纹理特征的RGB和深度稀疏编码表示；

（4）利用汇聚算法将所有稀疏编码值汇聚统计表示，缩小特征维数，并合并RGB和深度特征，得到最终人脸表情序列特征；

（5）利用PCA算法降维，将降维后的特征输入条件随机场模型（CRFs）实现样本训练；

（6）针对测试样本，依次采用步骤2-4处理，投影至训练样本PCA空间降维，最终输入条件随机场模型（CRFs）分类器实现表情识别。

2.根据权利要求1所述的基于结构性稀疏特征学习的三维动态人脸表情识别方法，其特征在于，所述对图像序列预处理具体方法是：

首先定位每帧图像的人眼位置，以双眼中心点的连接线中点为各帧基准点，采用人脸检测算法提取第一帧图像的脸部上边缘坐标，以第一帧图像的基准点与脸部上边缘坐标差值为脸部基准高度，第一帧双眼与基准点平均距离为脸部基准宽度；此后各帧，在各帧基准点位置确定的基础上，以基准点垂直上方基准高度处为该帧脸部上边缘y值，基准点垂直向下两倍基准高度处为脸部下边缘y值；基准点水平向左两倍基准宽度为脸部左侧边缘x值，同理水平向右两倍基准宽度为右侧边缘x值。

3.根据权利要求1所述的基于结构性稀疏特征学习的三维动态人脸表情识别方法，其特征在于，所述提取每个三维模块的LBP-TOP纹理特征具体方法是：

将预处理后的RGB图像和深度图像划分为相同个数的n×n大小，保持当前表情序列长度T，则每个图像序列可分为n×n×T大小的三维模块：

针对二维图像，若给出位于的像素点，为该点的像素值，则其3×3邻域空间中的LBP特征为：

（1）

作为LBP在三维空间的延伸，LBP-TOP（Three Orthogonal Planes）在空间时间中三个平面上分别计算LBP值实现动态纹理特征统计；若定义v为某一像素时空邻域的LBP-TOP特征，以（）表示该像素点位置；P为其邻域个数；则：

（2）

其中，为中心像素点灰度值，

最终可以得到每个表情样本的4D纹理特征；177为每个三维模块的LBP-TOP特征维数，N为模块总数，2对应一种表情的RGB和深度图像两个序列。

4.根据权利要求1所述的基于结构性稀疏特征学习的三维动态人脸表情识别方法，其特征在于，所述以三维模块纹理特征为编码字典训练样本，通过字典初始化和更新流程分别得到RGB 和深度序列的编码字典B，利用编码字典B计算得到所有三维模块纹理特征的RGB和深度稀疏编码表示具体方法：

首先，以所有三维模块4D 纹理特征为特征训练样本集，采用k-均值聚类初始化编码字典B，再对编码字典B 进行优化，从全部特征训练样本集中随机取部分样本，采用循环方式进行字典优化；设字典，由此得到的稀疏编码为，指某一三维模块纹理特征，按照如下公式计算：

（3）

（4）

以上公式中，表示两向量间的点积运算，，其中为和间的欧式距离，为权重参数，在k-均值聚类初始化得到B值后，将参与字典优化的训练样本依次代入循环中，每次循环无重复使用其中一个样本，循环数等于参与字典优化的样本数；在每次循环中，将某样本与当前字典B代入公式（3）得到的稀疏编码，只有在中大于某预定义阈值的元素对应的项会被更新，这一过程如公式（5）所示：

（5）

再将代入公式（6），得到结果为

（6）

利用值采用梯度下降法更新，结合未被更新的其他项生成新的编码字典B；

在得到更新后的字典后，将B代入公式（3），依次算出所有特征样本的LLC稀疏编码值；在上述编码过程中，RGB和深度图像是分别计算其各自的编码字典和稀疏编码值的，针对每一个人脸表情序列样本，其LLC编码特征维数为M×2×N，其中M为字典条目数。