[发明专利]一种基于单摄像头与运动捕捉数据的人脸表情编辑方法

权利要求书

1.一种虚拟人脸表情编辑方法，该方法包括离线过程和在线过程，其中，

离线过程包括：步骤1，利用人脸正面照片生成用户的虚拟三维人脸模型；步骤2，对运动捕捉数据进行解耦，分离姿态与表情；步骤3，构建人脸子空间关联模型，以此实现由局部特征控制全局表情；

在线过程的输入包括用户在摄像头前的表情视频、离线处理得到的虚拟人脸三维模型、解耦的运动捕捉数据和人脸子空间关联模型，在线过程包括步骤：步骤4，对从单摄像头中捕捉到的表情视频进行视频分析，使用主动外观模型跟踪头部的刚体运动以及视频中的面部特征点，然后从跟踪得到的特征点中提取表情控制参数，得到两个部分的控制参数，即表情控制参数和三维头部姿态参数；步骤5，将表情控制参数用解耦后的运动捕捉数据进行动态数据滤波，滤波后的信号输入人脸子空间关联模型中，计算得到全局表情，最后通过将全局表情赋予离线过程生成的虚拟三维人脸，实现虚拟人脸的表情编辑。

2.如权利要求1所述的方法，其特征在于，步骤2进一步包括：，所述运动捕捉数据解耦过程利用了加权旋转矩阵的正交性构建旋转约束，利用关键帧构建基约束；每一帧数据都包括三维头部姿态和脸部表情变化两部分，表示为式中L为变形基个数，f表示第f帧，S_i表示第i个变形基，c_fi表示第i个变形基在第f帧对应的权值，R_f是3×3的头部旋转矩阵，T_f是3×1的头部平移矩阵，R_f和T_f这两部分体现了三维头部姿态，需要被剔除，从X_f中减去所有三维点的平均值，以此消去T_f，得到两个矩阵相乘的格式：

对M进行奇异值分解，得到两个矩阵通过上述旋转约束和基约束消除歧义性，得到正确的加权旋转矩阵和基矩阵分解，其中U是3F×3F阶酉矩阵,S是半正定3F×3L阶对角矩阵,V^T即V的共轭转置，是P×P阶酉矩阵，F是运动捕捉数据帧数，P是模型中点的个数。

3.如权利要求1所述的方法，其特征在于，所述人脸子空间关联模型分为三层，顶层为全局人脸表情，中间层分为下巴、眉毛、眼镜、嘴巴、脸颊，底层将眉毛，眼睛，脸颊分为左右，嘴巴分为上下。

4.如权利要求1所述的方法，其特征在于，所述人脸子空间关联模型训练时，由分层高斯过程潜变量模型计算得到子空间中高层到低层的逐层映射，从而将全局表情变化分解为局部特征变化，之后通过式计算子空间中相对低层到相对高层的逐层反映射，得到反映射之后，顶层全局表情对应的子空间状态由其低层变量，即中间层变量和底层变量计算得到，其中g_1,1+1表示以径向基函数为核的投影函数，Par(reg)表示reg节点的父节点，由于Par(reg)节点对应的状态为第l层，所以reg节点对应状态为第l+1层。

5.如权利要求1所述的方法，其特征在于，步骤4进一步包括：使用主动外观模型实时地给出人脸姿态参数和脸部特征点的二维坐标，对二维特征点采集表情控制参数。

6.如权利要求1所述的方法，其特征在于，步骤5进一步包括：利用离线过程解耦的运动捕捉数据对视频表情参数进行滤波，滤波包括如下步骤：

首先将噪声信号在一个固定的时间间隔W内划分为片段，令表示输入控制参数的片段，从运动捕捉数据中找出K个最接近的片段，K的取值取决于给定运动捕捉数据库和视频中提取的控制参数的属性，计算K个片段的主成分，令前M个最大的特征向量U₁,…,U_M为过滤基，M的取值保证99%的原始数据变化，将投影到U₁,…,U_M张成的局部线性空间，重建控制参数。

7.如权利要求1所述的方法，其特征在于，步骤5中，将滤波后信号输入人脸子空间关联模型，通过反映射和传播算法计算全局表情。

8.根据权利要求5所述的方法，其特征在于，人脸姿态参数包括平移、尺度变换、俯仰角、滚转角和偏航角。

9.根据权利要求5所述的方法，其特征在于，所述表情控制参数为12个，包括嘴部5个、眼睛2个、眉毛5个。