[发明专利]一种交互式三维人脸表情动画编辑方法、系统及扩展方法

说明书

技术领域

本发明属于计算机图形学领域，尤其涉及一种交互式三维人脸表情动画编辑方法、系统及扩展方法。

背景技术

近年来，三维人脸表情动画已被广泛应用于各个领域，如动漫、游戏和电影中虚拟角色的表情生成；远程网络会议、虚拟现实中的虚拟人物表情动画；医学美容、人脸识别中的表情模拟；辅助教育中的虚拟教师、娱乐节目中的虚拟主持人和虚拟偶像的表情模拟等。

随着三维人脸表情动画的广泛应用，如何给用户提供一个简单便捷的交互式编辑工具，并使其编辑生成的表情动画真实自然成为了学术界和工业界普遍关注的研究热点和难点问题。理想的交互式表情编辑工具必须具备两个要素：1)操作的直观性和便捷性。用户只需简单地控制人脸模型上的一些元素(如点、直线、曲线等)的位置和形状即可实现对表情的编辑，这个交互过程是直观可见的、且新表情的生成结果是实时显示的。2)表情合成的高真实感。要保证用户通过简单的交互编辑后生成的表情动画是真实自然、令人信服的。然而，要实现这样的交互式表情编辑工具是具有挑战性的，原因在于：1)用户编辑的人脸模型往往具有几千甚至几万个顶点，而用户交互控制的模型顶点数和曲线数只有几个最多十几个，利用如此低维的控制元素来控制高维模型的变形会导致欠约束问题，从而使得生成的表情不自然甚至错误。2)由于缺乏经验或专业水平不高，某些用户对人脸模型控制元素的交互编辑可能是不合适的甚至是错误的，这种不合适或错误的输入往往直接导致生成的表情不自然甚至是怪异的，从而无法达到用户预期的编辑效果。

目前关于交互式表情编辑的相关研究取得了较大进展，但仍存在着很多不足。形状融合变形是目前用于表情动画编辑的主流思路，它将人脸模型表示为若干个已知的拓扑一致的人脸网格模型(称为关键模型)的加权组合，通过修改关键模型的形状或调整各关键模型的融合权值可生成新的表情。这里，关键模型可以由动画师手工制作，也可以利用动态三维数据获取技术直接获取不同模样、不同表情的人脸网格样本作为关键模型。在估算融合权重时，早期的方法往往直接利用用户选中的模型控制点作为约束优化求解，这会导致欠约束问题进而难以生成真实自然的表情。后来的很多方法引入了主成分分析来避免欠约束的问题。主成分分析有效降低了关键模型空间的维度，但它运算花销大，且缺乏物理含义和语义信息，从而会导致不自然表情的产生。因此，引入主成分分析的表情编辑方法通常会采用对模型进行区域分割的方式以保证更好的表情编辑效果。近来，越来越多的表情编辑方法引入了区域分割的思想。它们通过将人脸模型分成多个区域，并分区域对已有的关键形状进行插值来产生新的表情。这些方法虽然克服了主成分分析的缺陷，但由于模型上的区域都是事先分割好的，与用户选择的控制元素无关，这种硬性的区域分割在一定程度上破环了人脸各部分之间的自然相关性，各区域变形的简单融合又使得人脸模型不同部位之间的运动相互独立、缺乏联系，因此很多情况下会导致不自然表情的产生。最新的一些方法开始探索对表情序列进行编辑，即，将用户对单帧网格模型的编辑效果在整个表情网格序列中进行传播，以产生连续渐变的表情动画效果。但这些方法都需要大量的离线处理和运算。

综上，如何为用户提供直观、简便的交互编辑方式，以及如何生成既符合用户要求、又真实自然的表情依然是三维人脸表情编辑研究中亟待解决的关键问题和难点问题。该问题的解决将进一步推动表情编辑技术在计算机动画、影视特效、虚拟现实、辅助教育等诸多领域的推广和应用。

发明内容

为了解决现有技术中人脸表情动画编辑方法都需要大量的离线处理和运算的缺点，本发明的第一目的是提供一种交互式三维人脸表情动画编辑方法。该方法计算简单且能够保证各动态区域的变形既符合用户要求、又准确自然。

本发明的一种交互式三维人脸表情动画编辑方法，包括：

步骤1：将用户自由指定且移动至期望位置的人脸模型的二维控制点象素映射到三维空间，得到人脸模型上对应的三维控制点；

步骤2：建立由于用户的编辑操作引起的三维控制点变形的形变模型；

步骤3：分别计算人脸模型上每一个顶点与三维控制点之间的相关性系数；

步骤4：依据相关性系数将人脸模型划分成不同的动态区域，每个动态区域包含一个三维控制点；

步骤5：构建三维控制点的贡献图，贡献图的节点与人脸模型的顶点一一对应，且节点内存储相应人脸模型的顶点与三维控制点之间的相关性系数；其中，贡献图反映三维控制点变形对人脸模型的其他顶点运动的影响程度；

步骤6：依据贡献图以及形变模型对动态区域进行变形融合，最终得到人脸模型的整体变形，即人脸模型上的新表情。