[发明专利]人脸跟踪设备和方法

权利要求书

1.一种用于在视频图像中跟踪人脸的设备，所述设备包括：

图像采集单元，用于接收视频图像，并将接收的视频图像中的当前帧图像输出到预测单元；

预测单元，用于基于由人脸拟合单元得出的前一帧图像中人脸的二维特性和三维特性，预测出由图像采集单元输出的当前帧图像中人脸的关键点的二维位置，并将预测的关键点的二维位置输出到人脸拟合单元；以及

人脸拟合单元，用于在一个或多个约束条件下，基于由预测单元预测的关键点的二维位置来拟合预定的人脸二维模型和三维模型，从而得到人脸的二维特性和三维特性。

2.如权利要求1所述的设备，其中，预测单元在从图像采集单元输出的当前帧图像中提取人脸区域的特征点，将提取的特征点与前一帧图像的特征点进行匹配，基于由人脸拟合单元得到的前一帧图像中人脸的关键点的二维位置和三维结构，计算出前一帧图像中人脸的三维姿态，基于提取的前一帧图像中的特征点的二维位置、由人脸拟合单元得到的前一帧图像中人脸的关键点的三维结构以及前一帧图像中人脸的三维姿态，计算出三维结构上所述特征点的位置，基于当前帧图像中的人脸的匹配的特征点的二维位置以及三维结构上所述特征点的位置，计算出当前帧图像中人脸的三维姿态，基于由人脸拟合单元得到的前一帧图像中人脸的关键点的三维结构以及计算出的当前帧图像中人脸的三维姿态，计算出当前帧图像中人脸的关键点的二维位置，并将所述关键点的二维位置输出到人脸拟合单元。

3.如权利要求2所述的设备，其中，对于第一帧图像，预测单元使用人脸检测方法来直接估计关键点的二维位置，作为预测的关键点的二维位置。

4.如权利要求2所述的设备，其中，预测单元在从图像采集单元输出的当前帧图像中提取人脸区域的特征点时，将判断是否为特征点的门限值设置为根据实际情况变化的自适应门限值。

5.如权利要求4所述的设备，其中，预测单元将提取的特征点与前一帧图像的特征点进行匹配时，通过使用RANSAC方法并设置距离门限来去除异常配对。

6.如权利要求3所述的设备，其中，人脸拟合单元在包括二维外观约束条件和三维结构约束条件的多个约束条件下，基于由预测单元预测的关键点的二维位置来拟合预定的人脸二维模型和三维模型。

7.如权利要求6所述的设备，其中，二维形状表示为S(p，q)＝T(S(p)，q)，其中，S(p)表示二维柔性形状：S₀表示二维模型中的平均形状，S_i表示二维模型中的一系列形状基S₁，S₂，S₃，...，每一个形状基表示二维形状的一种变化方式，p＝[p₁，p₂，p₃，...]为二维柔性形状参数，其表示各个形状基的变化强度，q＝[q₁，q₂，q₃，q₄]表示二维刚性形状参数，其中，q₁和q₂表示人脸的二维形状在平面内的位移，q₃和q₄表示人脸的二维形状在平面内的旋转和缩放，T表示基于上述位移、旋转和缩放对二维形状的刚性形变，三维结构表示为其中，表示三维柔性结构：表示三维模型中的平均结构，表示三维模型中的一系列结构基每一个结构基表示三维结构的一种变化方式，为三维柔性结构参数，其表示各个结构基的变化强度，表示三维刚性结构参数设置，其中，O_x，O_y，O_z表示人脸的三维结构在空间中绕x轴、y轴和z轴旋转的角度，θ_x，θ_y，θ_z表示人脸的三维结构在空间内的平移，表示基于上述旋转和平移对三维结构的刚性形变。

8.如权利要求7所述的设备，其中，人脸拟合单元还在以下约束条件的至少一个下来拟合预定的人脸二维模型和三维模型：二维形变约束条件、特征点约束条件、肤色约束条件、个性纹理约束条件。