[发明专利]人脸表情的捕捉方法、装置及存储装置

权利要求书

1.一种人脸表情的捕捉方法，其特征在于，包括以下步骤：

获取包含人脸的RGBD图像序列，所述RGBD图像包括RGB图像和深度图像，其中，所述RGB图像和深度图像的像素一一对应；

对所述RGBD图像进行人脸检测，以提取出人脸区域的RGBD图像；

从所述人脸区域的RGBD图像中获取人脸特征点；

标记所述人脸特征点在所述人脸区域的RGBD图像上的位置；

在所述RGBD图像序列中跟踪所述人脸特征点的运动轨迹，并记录运动轨迹信息。

2.根据权利要求1所述的方法，其特征在于，所述从所述RGBD图像中提取出人脸区域的RGBD图像的步骤包括：

获取所述RGBD图像中的RGB图像；

对所述RGB图像进行人脸检测以提取出人脸区域的RGB图像；

从所述RGBD图像中的深度图像中提取出与所述人脸区域的RGB图像对应的区域，从而获取人脸区域的RGBD图像。

3.根据权利要求1所述的方法，其特征在于，所述从所述RGBD图像中提取出人脸区域的RGBD图像的步骤包括：

获取所述RGBD图像中的深度图像；

对所述深度图像进行人脸检测以提取人脸区域的深度图像；

从所述RGBD图像中的RGB图像中提取出与所述人脸区域的深度图像对应的区域，从而获取人脸区域的RGBD图像。

4.根据权利要求2或3所述的方法，其特征在于，所述从所述人脸区域的RGBD图像中获取人脸特征点的步骤包括：

从所述人脸区域的RGBD图像中的人脸区域的RGB图像中识别RGB人脸特征点；

从所述人脸区域的RGBD图像中的人脸区域的深度图像中提取出与所述RGB人脸特征点对应的特征点，从而获取所述人脸特征点。

5.根据权利要求4所述的方法，其特征在于，所述从所述人脸RGB图像中识别RGB人脸特征点的步骤中，采用灰度信息法、先验规则法、几何形状法、统计模型法和小波方法中的一种来识别RGB人脸特征点。

6.一种人脸表情的捕捉装置，其特征在于，包括处理器和RGBD相机，所述RGBD相机与所述处理器连接；

所述RGBD相机用于获取包含人脸的RGBD图像序列，所述RGBD图像包括RGB图像和深度图像，其中，所述RGB图像和深度图像的像素一一对应；

所述处理器用于对所述RGBD图像进行人脸检测，以提取出人脸区域的RGBD图像；从所述人脸区域的RGBD图像中获取人脸特征点；标记所述人脸特征点在所述人脸区域的RGBD图像上的位置；在所述RGBD图像序列中跟踪所述人脸特征点的运动轨迹，并记录运动轨迹信息。

7.根据权利要求6所述的装置，其特征在于，所述处理器还用于获取所述RGBD图像中的RGB图像；对所述RGB图像进行人脸检测以提取出人脸区域的RGB图像；从所述RGBD图像中的深度图像中提取出与所述人脸区域的RGB图像对应的区域，从而获取人脸区域的RGBD图像。

8.根据权利要求6所述的方法，其特征在于，所述处理器还用于获取所述RGBD图像中的深度图像；对所述深度图像进行人脸检测以提取人脸区域的深度图像；从所述RGBD图像中的RGB图像中提取出与所述人脸区域的深度图像对应的区域，从而获取人脸区域的RGBD图像。

9.根据权利要求7或8所述的装置，其特征在于，所述处理器还用于从所述人脸区域的RGBD图像中的人脸区域的RGB图像中识别RGB人脸特征点；从所述人脸区域的RGBD图像中的人脸区域的深度图像中提取出与所述RGB人脸特征点对应的特征点，从而获取所述人脸特征点。

10.根据权利要求9所述的装置，其特征在于，所述处理器采用灰度信息法、先验规则法、几何形状法、统计模型法和小波方法中的一种来识别RGB人脸特征点。

11.一种存储装置，其特征在于，存储有程序数据，所述程序数据能够被执行以实现如权利要求1至5任一项所述的方法。