[发明专利]一种高真实感的动态表情建模方法

说明书

(一)技术领域

本发明涉及曲面匹配和表情动画技术，属于计算机图形学领域。

(二)背景技术

近年来，具有高度真实感的三维人脸表情动画已被广泛应用于各个领域，如动漫、游戏和电影中的虚拟角色表情生成；远程网络会议、可视电话、虚拟现实中的虚拟人物表情动画；医学美容、人脸识别中的人脸建模和表情模拟；辅助教育中的虚拟教师、娱乐节目中的虚拟主持人和虚拟偶像的表情模拟等。

传统的人脸表情动画，大多利用三维动画软件(如3Ds Max、Maya等)进行手工建模和动态表情编辑，这一过程既繁琐又对专业素养要求较高；而利用动作捕捉技术捕获人脸动态表情，需要对捕获的控制参数进行频繁的手动调整，以及对捕获数据进行后处理，捕捉的表情不够真实。近年来，动态三维数据测量技术的出现为真实感三维人脸表情动画的生成提供了新的途径。该技术能够以视频频率对运动中的人脸获得连续的一帧帧点云数据。这些点云记录了人脸的表情变化信息(即，动态表情)，包括全局的刚体运动和局部的非刚体变形。与传统的人脸动画建模技术相比，该技术对人脸变形数据的获取更加方便快捷，且对表情变化细节的捕捉精度更高。对这些点云进行建模以重现点云中记录的动态表情，已成为生成真实感三维人脸表情动画的最新方式，也成为当前计算机图形学新的研究热点。

点云序列在整体上是无结构的，即，序列中的每一帧点云，其包含的顶点数目不同，点云与点云之间不存在顶点间的一对一的对应关系。对这个无结构的点云序列，如果直接应用传统的将点云转化为多边形(三角形或四边形)网格的算法简单地对每一帧点云分别重构多边形网格，则得到的一系列网格之间拓扑结构可能完全不同。拓扑结构不同是指这些网格的顶点个数不同，顶点间的连接关系也不同。这使得各个网格间无法建立顶点的一一映射关系。更无法将这些网格统一表示成一个动态网格模型。而在计算机动画中，为了编辑或计算光照以及纹理贴图的方便，通常用一系列拓扑一致的多边形网格来表示一个动态的模型，如人脸表情，角色的动作等。所谓拓扑一致，就是这样一系列网格其顶点个数相同，顶点间的连接关系也相同，只是每个顶点的位置随着时间变化而变化，从而表达模型形状的动态变化。因此，需要对这些点云建立一系列拓扑一致的网格来反映点云中人脸表情的变化，继而自然建立起网格间顶点的一一映射关系，并将这些网格表示成一个动态模型及其在时间上的变形域，使其很好的满足表情编辑、表情复制等各种后续处理需要。基于点云序列的动态表情建模就是研究如何将点云序列中的一帧帧点云转化成拓扑一致的网格序列，且网格序列能很好的再现点云中记录的表情变化。显然，传统的对每帧点云单独重构网格的方法无法满足需要。因此，基于点云序列的动态表情建模需要新的研究思路，近年来也出现了大量的相关研究。

如何获取更多的表情细节，使再现的表情更加真实、自然是目前动态表情建模研究中的一个关键问题和难点问题。这是由于人脸生理结构的复杂性使得对人脸表情的模拟，尤其是对微妙的表情变化细节的模拟比较困难，而人类对自身的熟悉又使得人们对稍微不自然的表情立刻就会察觉，且难以接受。因此，能否忠实的还原点云序列包含的全部表情变化信息，提高表情模拟的真实感，将直接影响到动态表情建模方法在计算机动画、影视特效、虚拟现实等诸多对真实感程度要求较高的领域的推广和应用。

目前，很多动态表情建模方法只关注于对人脸特征点的精确跟踪。这些特征点位于眼睛、眉毛、鼻子、嘴等部位的周围，其运动可以有效反映人脸表情的变化。但人脸很多个性化的表情特征不仅体现在这些特征点上，还体现在很多细节上，如酒窝、皱纹、皮肤褶皱等。现有的很多方法分辨率不高，对这些表情细节的精确模拟比较困难。而实现了对这些表情细节精确模拟的方法大都是先用标准网格模型匹配点云，然后再叠加上这些表情细节。这些方法中，表情细节的获取主要有三种方式：1)手工绘制皱纹、褶皱等信息；2)在演员脸部的皱纹、褶皱处绘上条纹，以便扫描时获取这些细节处的变化信息；3)在演员脸部细节处贴上标识点，利用运动捕捉设备单独捕获表情细节的运动。其中，第一种方式需要专业动画师的参与设计，对专业技术要求较高；后两种方式费时费力，且会在一定程度上影响演员表情的自然度。

(三)发明内容