[发明专利]基于特征点的人脸表情合成方法

摘要

本发明公开了一种基于混合变形策略的人脸表情合成算法。通过建立一个基于测地距的径向基函数人脸表情的重定向模型，实现了从运动捕捉数据空间到目标人脸模型运动空间的转换。在人脸表情动画阶段，利用了空间转换的结果，使用基于邻近特征点加权的局部变形方法求出顶点的局部运动，同时使用基于径向基函数插值的全局变形方法求出了顶点的全局位移，最后将局部位移和全局位移进行融合便得到了顶点的最终位移。本发明可将同一个捕捉序列应用到不同的人脸模型，模型转换比较容易，同时针对不同的捕捉序列也可用于同一个目标模型，实现了运动捕捉数据的重用，同时也具有较强的动画真实感。附图1所示为本发明的算法流程图。

主权项

一种基于特征点的人脸表情合成方法，其特征在于：包括如下步骤：第一步：表情空间的转换建立首帧运动捕捉数据与目标人脸模型标记点之间的映射关系，映射关系可以表示如下：所述是首帧运动捕捉序列中的标记点的空间坐标(xi,yi,zi)；所述xi，yi和zi的单位均为毫米；是首帧序列中第i个标记点和第j个标记点之间的测地距，所述测地距单位是毫米；wj是待求的权值系数；n是标记点的个数，所述n是一个整数，根据初始设置的标记点个数其值为60；是目标人脸模型上第i个标记点的空间坐标(xi,yi,zi)；所述xi，yi和zi的单位均为毫米，1≤i,j≤n；是一个多项式，其是一个仿射变换，在求解公式组成的线性系统时，同时计算该多项式项：若将上述线性系统写成如下矩阵形式：M＝Φ·W，所述M=m10...mn00,]]>W=w1...wnq,]]>所述M∈Rn+3,3是目标人脸模型上标记点的空间位置矩阵，Φ是基于首帧序列的标记点间测地距的径向基函数组成的矩阵，所述权值矩阵W通过公式下式求出，W＝Φ‑1M，对于第k帧捕捉序列，将公式M＝Φ·W中的Φ换成关于当前帧标记点位置的所述k是表情运动序列的长度，即帧长度；从而可以求得当前帧目标人脸模型上标记点的位置矩阵M；第二步：基于邻近特征点加权的局部变形策略，其有以下几个步骤：步骤1：确定顶点的邻近区域：首先，导入运动捕捉数据，对首帧数据中特征点进行三角剖分，生成人脸面部网格。在人脸网格中，去除嘴部区域和眼部区域的伪关联，对修正后的人脸网格进行保存，便得到每个特征点的邻近特征点集合；其次，在目标人脸模型上计算每个顶点到所有特征点的测地距离。对于每个顶点来说，在所有的测地距中找到最小的距离值，并且将该特征点作为影响该顶点运动的主要特征点，该特征点的邻近特征点集合就作为这个顶点的邻近特征点区域；步骤2：基于邻近特征点的加权方法：步骤3：局部变形的计算。针对于一个运动序列中的每一帧，顶点P的局部位移sp_local可以按照如下公式计算：sp_local=Σi=0nwipsidip2Σi=0nwipdip2,]]>其中，si是当前帧中，顶点P的邻近特征点Fi的位移(xi,yi,zi)，所述xi，yi和zi的单位均为毫米，wip是步骤2中计算出来的顶点P的邻近特征点Fi的权重，dip是当前帧中顶点P与特征点Fi之间的欧式距，单位毫米；第三步：基于径向基函数的全局变形策略，包括以下几个步骤：步骤1：针对每一帧的运动数据，在目标人脸模型特征点和当前帧特征点的位移之间构建一个径向基函数训练模型，求解出每一帧的径向基权值矩阵W＝Φ‑1M，Φ是标记点之间的径向基函数组成的矩阵，M为每一帧目标人脸模型上特征点的位移矩阵，这里的位移是第一步求解出的当前帧特征点的空间位置与目标人脸模型特征点的空间位置的差值；步骤2：利用下面的公式建立一个变形模型所述是第k帧运动序列中第i个顶点Pi的位移，该位移用一个三维坐标表示，其中和的单位都是毫米，是目标人脸模型特征点和顶点之间的径向函数信息，是根据第三步中步骤1求得的第k帧运动序列的径向基权值矩阵W中提取的权值系数；第四步：局部变形与全局变形的混合：sp＝αsp_local+(1‑α)sp_global，对于一个运动捕捉序列中其中一帧，目标人脸模型上的顶点P的位移sp由第二步求出的局部位移sp_local和第三步求出的全局位移sp_global组成，α是融合系数，0＜α＜1，所有位移都用三维坐标表示，其中和的单位都是毫米；第五步：重复第二步到第四步，即可求出所有帧中目标人脸模型上每个顶点的位置，实时更新每个顶点的空间坐标位置，这样就可产生人脸表情动画。