[发明专利]嘴唇检测和跟踪方法及设备

权利要求书

1.一种嘴唇检测方法，包括：

从输入图像估计头部姿态；

从多个嘴唇粗糙模型中选择与估计的头部姿态相应的嘴唇粗糙模型；

使用选择的嘴唇粗糙模型初步检测嘴唇；

从多个嘴唇精细模型中选择一个具有与初步检测的嘴唇的形状最接近的嘴唇形状的嘴唇精细模型；

使用选择的嘴唇精细模型检测嘴唇。

2.如权利要求1所述的方法，其中，利用第一多组嘴唇图像作为训练样本训练而得到多个嘴唇粗糙模型，每组嘴唇图像作为一个训练样本集合训练一个嘴唇粗糙模型，每组嘴唇图像具有相同或相近的头部姿态；

其中，利用第二多组嘴唇图像作为训练样本训练而得到多个嘴唇精细模型，每组嘴唇图像作为一个训练样本集合训练一个嘴唇精细模型，每组嘴唇图像具有相同或相近的嘴唇形状，或者，根据嘴唇形状将第二多组嘴唇图像中的每组嘴唇图像分别划分为多个子集，利用划分的子集训练嘴唇精细模型，每个子集作为一个训练样本集合训练一个嘴唇精细模型。

3.如权利要求1所述的方法，其中，每个嘴唇粗糙模型和每个嘴唇精细模型包括形状模型和表观模型中的至少一个，

其中，形状模型用于对嘴唇的形状建模，被表示为：平均形状与反映形状变化的至少一个形状基的加权和之和的相似变换，其中，平均形状和形状基作为形状模型的固定参数，用于各个形状基加权的形状参数的形状参数向量和用于相似变化的参数为形状模型的变量；

其中，表观模型用于对嘴唇的表观进行建模，被表示为：嘴唇的平均表观与反映表观变化的至少一个表观基的加权和之和，其中，平均表观和表观基作为表观模型的固定参数，用于表观基加权的权重为表观模型的变量。

4.如权利要求3所述的方法，其中，使用嘴唇粗糙模型的步骤包括：最小化表观约束项、内部形变约束项、形状约束项中的至少一个之间的加权和，

其中，表观约束项表示检测的嘴唇的表观与表观模型的差异；内部形变约束项表示检测的嘴唇的形状与平均形状的差异；形状约束项表示检测的嘴唇的形状与预先从输入图像估计的嘴部位置的差异。

5.如权利要求3所述的方法，其中，使用嘴唇精细模型检测嘴唇的步骤包括：最小化表观约束项、内部形变约束项、形状约束项、纹理约束项中的至少一个之间的加权和，

其中，表观约束项表示检测的嘴唇的表观与表观模型的差异；内部形变约束项表示检测的嘴唇的形状与平均形状的差异；形状约束项表示检测的嘴唇的形状与初步检测的嘴唇的形状的差异，纹理约束项表示当前帧与先前帧之间的纹理变化。

6.如权利要求3述的方法，其中，平均形状表示用于训练形状模型的训练样本集合中的嘴唇的平均形状，每个形状基表示对平均形状的一个变化。

7.如权利要求3述的方法，其中，选取训练样本集合中的全部或部分训练样本的形状向量的协方差矩阵的特征向量来作为形状基。

8.如权利要求7述的方法，其中，如果训练样本集合中的预定数量训练样本的形状向量的协方差矩阵的特征值之和大于训练样本集合中的所有训练样本的形状向量的协方差矩阵的特征值之和的预定百分比，则所述预定数量训练样本的形状向量的协方差矩阵的特征向量作为预定数量的形状基。

9.如权利要求3所述的方法，其中，平均表观表示用于训练表观模型的训练样本集合的表观向量的平均值，表观基表示对平均表观向量的一个变化。

10.如权利要求3所述的方法，其中，选取训练样本集合中的全部或部分训练样本的表观向量的协方差矩阵的特征向量来作为表观基。

11.如权利要求10所述的方法，其中，如果训练样本集合中的预定数量训练样本的表观向量的协方差矩阵的特征值之和大于训练样本集合中的所有训练样本的表观向量的协方差矩阵的特征值之和的预定百分比，则所述预定数量训练样本的表观向量的协方差矩阵的特征向量作为预定数量的表观基。

12.如权利要求3所述的方法，其中，表观向量包括形状无关嘴唇纹理图像中的像素的像素值。