[发明专利]根据深度图对真实对象进行3D重建

说明书

技术领域

本发明涉及计算机程序和系统领域，以及更具体地，涉及与根据深度图对表示真实对象(例如，人体)的3D建模对象进行重建相关的方法、系统、以及程序。

背景技术

市场上提供了很多用于对象的设计、工程、以及制造的系统和程序。CAD是计算机辅助设计的首字母缩写，例如，CAD涉及用于对对象进行设计的软件解决方案。CAE是计算机辅助工程的首字母缩写，例如，CAE涉及用于对未来产品的物理行为进行仿真的软件解决方案。CAM是计算机辅助制造的首字母缩写，例如，CAM涉及用于对制造工艺和操作进行定义的软件解决方案。在这样的计算机辅助设计系统中，图形用户界面对于技术的效率起到重要作用。这些技术可以嵌入到产品生命周期管理(PLM)系统中。PLM是指这样的商业策略：跨越扩展企业的概念而帮助公司来共享产品数据、应用公共过程以及利用企业知识来从概念至产品的生命结束地开发产品。由Dassault Systèmes提供的PLM解决方案(商标为CATIA、ENOVIA以及DELMIA)提供了：组织产品工程知识的工程中心、管理制造工程知识的制造中心、以及使得企业能够集成并连接到工程及制造中心的企业中心。该系统一起提供了开放的对象模型，其将产品、过程、资源链接起来使得能够进行动态且基于知识的产品创造与决策支持，驱动优化的产品定义、制造准备、生产以及服务。

在这个框架下，计算机视觉和计算机图形学领域提供越来越有用的技术。事实上，这个领域具有3D重建上的应用。3D重建可以用于涉及创建(例如，纹理化)3D模型的任何领域，例如，功能性游戏、视频游戏、架构、考古学、反向工程、3D资产数据库、或虚拟环境。若干学术和工业人士现在提供用于3D重建的软件解决方案，例如，通过RGB和/或深度图像分析(例如，Acute3D、Autodesk、VisualSFM)，或者通过RGB深度分析(例如，ReconstructMe或Microsoft’s SDK for Kinect(注册商标))。

RGB深度(或RGB-D)图像分析是使用“发射器-接收器”传感器的3D重建方法，“发射器-接收器”传感器除了标准RGB数据之外还提供深度数据。深度数据可以构成在重建过程中主要使用的数据。以下文章涉及这种方法：“Yan Cui等人:3D Shape Scanning with a Time-of-Flight Camera,CVPR 2010”，“RS.Izadi等人:KinectFusion:Real-Time Dense Surface Mapping and Tracking,Symposium ISMAR 2011”，以及“R.Newcombe等人:Live Dense Reconstruction with a Single Moving Camera,IEEE ICCV2011”。深度-图(depth-map)分析重建方法基于视差图或近似3D点云。这些视差图是使用立体视觉或结构光(参见例如“Kinect”设备)或“飞行时间”3D照相机获得的。

RGB-D图像分析可以显著地用于对诸如人体的真实对象进行3D重建的过程。从对用户进行RGB-D获取(即，具有深度图图像的彩色图像)开始，这样的过程的目的在于预测用户身体的准确3D形状和/或姿势。这在虚拟试穿仿真、增强现实、物联网、以及视频游戏方面具有许多应用，其中例如利用单个RGB-D传感器来捕获用户身体形状和姿势。

3D人体重建文献中的大多数可以归纳为可以被称为“基于优化的方法”的单一类的方法。这些方法使用优化技术来估计3D人体参数、姿势、以及形状，优化技术应用于将用户的视图与3D参数化身体模型进行比较的成本函数。

下面列出了公开基于优化的方法的示例的文章：

-Balan，L.S.Detailed Human Shape and Pose from Images.CVPR,2007。

-Balan，M.B.The Naked Truth:Estimating Body Shape Under Clothing.ECCV,2008。

-A.Weiss，D.H.Home 3D body scans from noisy image and range data.ICCV,2011。

-F.Perbet，S.J.Human Body Shape Estimation Using Multi-Resolution Manifold Forest.CVPR,2014。