[发明专利]基于光影优化的三维几何与本征成份重建方法及装置

说明书

本发明公开了一种基于光影优化的三维几何与本征成份重建方法及装置，其中，方法包括：通过RGBD相机得到三维彩色点云时间序列拍摄；获取三维深度点云和重建模型顶点之间的匹配点对，并获得点对集合；根据匹配点对及当前视角彩色图像建立基于本征分解的联合能量函数，并求解重建模型上每一个顶点的非刚性运动位置变换参数；对能量函数进行求解，获得表面模型顶点的形变变换矩阵以及图像上每个项目的本征成份；根据求解结果将前一帧三维模型的几何进行形变，补全和更新当前帧模型的几何和本征成份，实现三维几何与本征成份重建。该方法能够高稀疏和单个视点条件下动态对象跟踪形变的鲁棒性，且求解准确，对设备要求低，拥有广阔的应用前景。

技术领域

本发明涉及计算机视觉技术领域，特别涉及一种基于光影优化的三维几何与本征成份重建方法及装置。

背景技术

动态对象三维重建是计算机图形学和计算机视觉领域的重点问题。高质量的动态对象三维模型，如人体，动物，人脸，人手部等，在影视娱乐、体育游戏、虚拟现实等领域有着广泛的应用前景和重要的应用价值。但是高质量三维模型的获取通常依靠价格昂贵的激光扫描仪或者多相机阵列系统来实现，虽然精度较高，但是也显著存在着一些缺点：第一，扫描过程中要求对象保持绝对静止，微小的移动就会导致扫描结果存在明显的误差；第二，造假昂贵，很难普及到普通民众日常生活中，往往应用于大公司或国家统计部门。第三，速度慢，往往重建一个三维模型需要至少10分钟到数小时的时间，重建动态模型序列的代价更大。

从技术角度，现有的重建方法要么集中在先求解对象的刚性运动信息，获得对象的逼近，进而重建非刚性表面运动信息。但这种重建方法需要事先获得对象的关键帧三维模型。另一方面，现有的逐帧动态融合表面的重建方法虽然可实现无模板的动态三维重建，但仅仅使用非刚性表面形变方法，跟踪重建的鲁棒性低。本方法通过实时非刚性对齐的方法，逐帧地融合动态对象表面三维几何信息与表面本征成份信息，实现了动态对象表面的非刚性高精度跟踪与融合，实现在无首帧三维模板条件下的单深度相机实时动态三维几何和表面本征成份重建。基于获得的几何和本征成份信息，可实现动态对象的自由视点视频生成及对象重光照功能。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的一个目的在于提出一种基于光影优化的三维几何与本征成份重建方法，具有较高鲁棒性，求解准确，对设备要求低，拥有广阔应用前景的优点。

本发明的另一个目的在于提出一种基于光影优化的三维几何与本征成份重建装置。

为达到上述目的，本发明一方面实施例提出了一种基于光影优化的三维几何与本征成份重建方法，包括以下步骤：通过RGBD相机对动态场景进行拍摄，以得到三维彩色点云时间序列拍摄；获取三维深度点云和重建模型顶点之间的匹配点对，并获得点对集合，其中，所述点对集合包含所述三维深度点云上与所述重建模型的顶点对应的三维坐标点；根据所述匹配点对及当前视角彩色图像建立基于本征分解的联合能量函数，并求解所述重建模型上每一个顶点的非刚性运动位置变换参数；对所述能量函数进行求解，以获得表面模型顶点的形变变换矩阵以及图像上每个项目的本征成份；以及根据求解结果将前一帧三维模型的几何进行形变，使形变模型与当前帧的采集点云进行对齐，并根据所述本征成份融合几何及本征成份信息，以补全和更新当前帧模型的几何和本征成份，实现三维几何与本征成份重建。

本发明实施例的基于光影优化的三维几何与本征成份重建方法，通过重建模型顶点之间的匹配点对获取本征成份，以反映对象表面的真实材质属性，可以去除外部光照的影响，以有效提高稀疏和单个视点条件下，动态对象跟踪形变的鲁棒性，并通过能量函数求解，并结合场景光照和重建出的场景本征成份信息实现对实时动态场景三维模型的高精度重建，具有求解准确的优点，此外，对设备要求低，拥有广阔的应用前景。

另外，根据本发明上述实施例的基于光影优化的三维几何与本征成份重建方法还可以具有以下附加的技术特征：