[发明专利]一种基于稀疏关键点的参数化人体模型重建方法

说明书

技术领域

本发明属于计算机视觉技术领域，特别涉及到一种基于稀疏关键点的参数化人体模型重建方法。

背景技术

重建人体三维模型是计算机视觉中的重要问题之一，拥有很多潜在的应用。例如，我们可以在重建得到的网格模型上进行自动的人体身材测量，设计相应的服装。或将重建的模型作为用户的替身应用在电子游戏，远程会议中。受到强烈的需求推动，近年来学术界涌现出了很多关于人体重建的工作。这些工作根据是否用参数化模型表示重建出的结果可以被分为两类。非参数化的重建算法中代表性的如LiHao在2013年提出的“3DSelfPortrait”算法，通过将不同视角下扫描得到的三维点云进行注册，进而重建成水密的网格。这类算法重建的模型能够捕捉人体的几何细节，但是受到生成模型的非参数化形式限制，非参数化的重建算法不利于某些应用。例如在计算机动画中，即使对非参数化模型使用最先进的变形算法也不能准确地模拟肌肉产生的变形。再例如电子游戏中经常需要对模型的身材进行调整，使用非参数化模型很难产生自然的身材变形。相对的，参数化模型不像前者能够精确重现用户身体上如头发、衣物的几何细节，但其抗噪声能力强，而且可以将模型的外形与用户的身材、姿态等参数联系起来，从而非常容易满足应用需要。最近，PengGuan在2013年提出了直接用模型的参数进行高效高质量的衣物仿真的“DRAPE”算法，这使得快速地自动重建出参数化模型的需求大大提升。

现存的参数化模型重建方法中，ShizheZhou在2010年提出了“ParametricReshapingofHumanBodiesinImages”，一种从单幅图像中重建出参数化模型的算法。该算法可以为不同的对象重建出参数化模型。但需要比较繁重的人工交互以确定人体的姿态并给出模型顶点与图像上轮廓的对应关系。此外，虽然人体的图像非常容易获取，但同时也丢失了人体的尺度信息。这意味着该方法输出的模型不能正确地反映人体的身材。相对的，深度数据提供了3D信息，可以真实地反映人体的尺度信息。DragomirAnguelov在2005年提出的“SCAPE”算法可以从高精度的三维人体扫描数据中恢复参数化模型。用户需要手动在深度数据上标记与模型之间的对应关系，之后使用一个基于优化的框架计算深度数据与模型之间的稠密对应关系，并根据稠密对应关系重建参数模型。AlexanderWeiss在2012年提出的“Home3DBodyScanfromNoisyImageandRangedata”借助非刚性注册的方法迭代地优化深度数据和网格之间的稠密对应关系，完成了全自动地从含有噪声的深度数据中重建参数化模型的目标。由于寻找稠密对应的过程比较耗时，需要计算接近一个小时的时间得到目标参数化模型。

上述领域的一些最新成果为我们开发自动从深度数据重建参数化模型的方法提供了坚实的技术基础。这些方法也为开发一种高质量、低成本的参数化人体模型获取方法和系统提供了技术支撑。

发明内容

本发明所要解决的主要技术问题是针对现存的参数化模型重建算法的需要人工交互和低效率的问题提出一种自动而且高效的解决方法和系统。该方法可以高效地在输入的深度数据上自动计算稀疏的关键点，并根据这些关键点的位置快速重建出参数化人体模型。

为了实现本发明的目的，我们依赖以下技术方案，它包括以下步骤：

(1)深度获取：使用深度扫描设备(Kinect)扫描人体的正面，并剔除属于背景和地面的区域。得到孤立的人体深度数据。

(2)自动关键点寻找：使用基于随机蕨(Randomfern)的回归算法自动计算深度数据上的稀疏关键点。

(3)关键点辅助重建：将稀疏关键点与模型网格之间的对应关系作为约束，使用优化算法重建出参数化人体模型。

采用以上技术方案的基础上，本发明还可以采用以下进一步的方案：

在步骤(2)中，对每个输入的深度数据，随机初始P个关键点坐标，使用q个不同方向光源将深度数据绘制成q个阴影图。对每张阴影图随机采样每个关键点周围的M个像素灰度，并对每张阴影图计算所有像素之间的灰度差异。将得到的MPq个灰度差异作为随机蕨回归算法的输入特征。

在步骤(2)中，合成N个不同姿态和身材，注册好的人体网格。并提取每个网格上准确的P个关键点坐标，组成目标关键点位置向量。接着对每个网格，随机生成初始关键点位置向量S₀。将差异向量ΔS＝S-S₀作为训练随机蕨回归算法的回归目标。