[发明专利]一种基于单摄像头与运动捕捉数据的人脸表情编辑方法

说明书

技术领域

本发明涉及计算机视觉技术领域，具体涉及一种基于单摄像头与运动捕捉数据的人脸表情编辑方法。

背景技术

对虚拟三维人脸表情的控制与编辑一直是计算机视觉的一个难题，关键在于人脸表情有非常大的自由度，每一块肌肉都可以产生丰富的变化，丰富的人脸表情可以充分表达人的内心世界并打动观众，而人的视觉对表情的微妙变化也极其敏感，但是让计算机理解或编辑人脸的表情就非常复杂了，它涉及对表情的理解，表情的分类和差异，以及表情的生理特征等许多内容。三维人脸动画技术主要可分为基于关键帧插值的、基于参数化的、基于肌肉的、基于数据驱动的。

关键帧插值法：关键帧插值法是最简单也是最常用的方法。它指的是在三维空间中获取空间顶点并将它从一个位置移动到另一个特定的位置,计算机计算这两点之间的所有点,然后将该点沿计算得到点的轨迹运动。关键帧插值技术虽简单快速。但只是用于关键帧变化较小的情形，对于差异大的关键帧效果很不理想。

参数化方法:该方法仍然用多边形描述人脸表面,但用更少的参数来描述运动变化。用户可以通过改变这些参数的值直接、方便地创建各种人脸的形状和表情。这些参数包括:a)形状参数。用于控制个性人脸的形状,包括人脸的大小、形状、人脸各个特征的相对位置以及控制人脸全局特征的参数,如高度、宽度比等。b)表情参数。用来控制表情,如眼睛区域的表情参数包括眼帘睁开、瞳孔的大小、眉毛的形状和位置等。参数化方法表示依赖于人脸拓扑，因此很难设计一个通用的参数模型，只有经验丰富的动画师才能设计高质量的人脸动画。

基于肌肉的方法：该方法用来模拟人体真实的肌肉与肌肉运动，根据肌肉的运动特性定义了三种不同类型的肌肉,即线性肌、块状肌和括约肌。这些肌肉不依赖于骨骼结构,使它们可以适应不同的面部拓扑结构。这一方法引入解剖学原理，将肌肉嵌入到基于解剖学的人脸皮肤模型上，构成质点—弹簧模型,通过对肌肉施加压力来变形该模型,从而达到真实地模拟人脸及其表情变化的效果。该方法需要大量的计算,不同的模型在考虑的深度和复杂性上差别很大:简化的模型很难达到理想的视觉效果;复杂的模型则计算量大,即使一般复杂度的模型也难以达到实时。

数据驱动的方法：目前最为成功的人脸动画技术是通过表演数据驱动人脸动画。该方法捕捉在各种面部表情下真实人脸部的特征来驱动脸部模型产生真实的脸部表情。主要做法是在一个表演者的脸上设置许多特征点,在表演者表演各种面部表情时,捕捉这些特征点的运动向量,然后使用这些运动向量来驱动脸部模型的相应特征点产生脸部表情。它提供了一种直观和有效的方式直接控制脸部表情的产生。现今的好莱坞大片里，绝大部分电影比如《阿凡达》都是运用了这种运动捕捉技术。

现有技术能做到高质量三维人脸动画的方法或者需要经验丰富的专业人员操作，或者要求复杂昂贵的硬件设施。因此有必要提供一种适用于普通用户使用的成本低而且便捷并具有真实感的人脸表情编辑方法。

发明内容

为了解决现有技术的问题，本发明的目的是提供一种基于单摄像头与运动捕捉数据的人脸表情编辑方法。

为了达成所述目的，本发明利用了运动捕捉数据数据库中蕴含的信息，弥补了单摄像头采集信息的不足。

根据本发明提出的虚拟人脸表情编辑方法包括离线过程和在线过程，其中，离线过程包括：步骤1，利用人脸正面照片生成用户的虚拟三维人脸模型；步骤2，对运动捕捉数据进行解耦，分离姿态与表情；步骤3，构建人脸子空间关联模型，以此实现由局部特征控制全局表情；在线过程的输入包括用户在摄像头前的表情视频、离线处理得到的虚拟人脸三维模型、解耦的运动捕捉数据和人脸子空间关联模型，在线过程包括步骤：步骤4，对从单摄像头中捕捉到的表情视频进行视频分析，使用主动外观模型跟踪头部的刚体运动以及视频中的面部特征点，然后从跟踪得到的特征点中提取表情控制参数，得到两个部分的控制参数，即表情控制参数和三维头部姿态参数；步骤5，将表情控制参数用解耦后的运动捕捉数据进行动态数据滤波，滤波后的信号输入人脸子空间关联模型中，计算得到全局表情，最后通过将全局表情赋予离线过程生成的虚拟三维人脸，实现虚拟人脸的表情编辑。