[发明专利]基于半监督局部小块排列的人脸动画生成方法

权利要求书

1.基于半监督局部小块排列的人脸动画生成方法，其特征在于包括以下步骤：

步骤1、给定待驱动的三维人脸模型，根据三维人脸模型的拓扑结构为模型中的每个顶点选择邻域，并根据邻域为每个顶点构造相应的局部小块；

步骤2、利用现有流形学习方法，把局部小块投影到流形子空间，得到各个局部小块在流形子空间中的流形坐标；

步骤3、为每个局部小块的流形坐标计算一个局部的线性变换，并将所有局部线性变换整合成一个排列矩阵，利用排列矩阵对待驱动的三维人脸模型的局部小块的流形坐标进行变换，使三维人脸模型的流形坐标转换为全局坐标；

步骤4、选择一组运动数据作为待驱动三维人脸模型的部分顶点的标注数据，构造人脸驱动的形状约束条件；

步骤5、将步骤4中的形状约束条件和步骤3中的局部小块计算线性变化的过程相结合，并通过求解最小二乘问题得到驱动后的人脸。

2.如权利要求1所述的基于半监督局部小块排列的人脸动画生成方法，其特征在于步骤1所述的根据待驱动的三维人脸模型，根据三维人脸模型的拓扑结构为模型中的每个顶点选择邻域，该邻域为三维人脸模型上所有边与当前顶点相连的顶点集合，同时每个顶点相应的局部小块包括该顶点本身以及该顶点的邻域；根据模型拓扑结构构造的局部小块能够有效捕捉模型的局部集合特征。

3.如权利要求1所述的基于半监督局部小块排列的人脸动画生成方法，其特征在于步骤2所述的流形学习方法为局部线性嵌入方法或局部切空间排列方法，具体的局部线性嵌入方法LLE如下：

设为当前顶点，为的邻域顶点集，设和分别是和的流形坐标；当采用LLE时，LLE假设当前顶点可由它的邻域顶点线性重构得到，重构系数能够通过求解如下目标函数获得：

其中是线性重构系数；指代邻域顶点的权重；k_i表示当前顶点领域中顶点的个数，符号||·||²表示向量的二范数，即向量所有元素平方和的平方根；在约束下，重构系数表示为：其中LLE认为可通过优化如下目标函数，从而用同样的重构系数来求解

其中

4.如权利要求3所述的基于半监督局部小块排列的人脸动画生成方法，其特征在于局部切空间排列方法如下：

用局部切空间来估计局部小块流形坐标的近似值；每个局部小块的目标函数为：

其中是单位阵，Q_i是构成局部切空间的正交基，是局部小块中的顶点在这组正交基下的局部坐标；的作用是将局部小块中的所有顶点减去这些顶点的均值，相当于以均值为中心将小块坐标中心化；是矩阵的左奇异向量；因此，最优的Θ_i可表示为局部切空间排列方法的实现：假设在Q_i和之间存在一个仿射变换，故有其中A_i是仿射变换矩阵，E_i是误差；

局部切空间排列方法通过求解如下优化问题来计算由于A_i可表示为上式可改写为:假设U_i是与的d个最大的奇异值对应的右奇异向量，原优化问题可表示为：

其中线性变化

5.如权利要求1所述的基于半监督局部小块排列的人脸动画生成方法，其特征在于步骤3是将每个局部小块的流形坐标对应的局部线性变换表示为R_i和c_i，局部小块流形坐标转换为全局坐标通过如下优化问题来求解：

其中Φ_i是零空间为的正交投影，且Φ_i≈L_i，是局部小块转换后的全局坐标，符号表示矩阵的F范数，即矩阵所有元素平方和的平方根；因此优化问题的目标函数表示为：其中(S没有解释)是排列矩阵，n是模型上顶点的总数；L可通过迭代公式L(b_i)＝L(b_i)+L_i,(i＝1,...,n)来计算，其中迭代前L的初始值设为0，b_i是第i个顶点处的局部小块所包含的顶点在整个人脸模型中的序号构成的集合；所以利用排列矩阵对待驱动模型的局部小块的流形坐标进行变换，小块流形坐标转换为全局坐标的过程表示为如下优化问题：