[发明专利]一种利用可重构混合成像系统的动态场景的三维3D重建方法

说明书

一种计算机实现的动态场景三维3D重建方法，包括：从多个彩色图像传感器接收多个彩色图像序列，以及从至少一个深度图像传感器接收至少一个深度图像序列，其中，所述彩色图像传感器的数量大于所述深度图像传感器的数量；基于所述多个彩色图像序列和所述至少一个深度图像序列生成多个校准的彩色图像序列和至少一个校准的深度图像序列；利用所述多个校准的彩色图像序列和所述至少一个校准的深度图像序列构造多个初始3D点云块；通过扩展所述多个初始3D点云块生成3D点云。

相关申请的交叉引用

本申请要求于2017年11月22提交的序列号为15/820,935、申请名称为“Three-Dimensional(3d)Reconstructions Of Dynamic Scenes Using A ReconfigurableHybrid Imaging System”的美国非临时专利申请的优先权，其全部内容通过引用结合在本申请中。

技术领域

本发明涉及场景的三维3D重建。

背景技术

三维(three-dimensional，3D)重建可以通过使用从不同角度拍摄的图像序列或视频来恢复场景中物体的3D模型。动态场景中运动物体的实时3D重建对于许多应用非常有用，例如3D远程呈现或远程会议、增强现实技术、远程手术或教育、电子商务、电影制作和计算机视频游戏。

发明内容

本申请描述了使用可重构混合成像系统的动态场景的三维(3D)重建。

在第一种实施方式中，提供一种计算机实现的动态场景三维(3D)重建方法，包括：从彩色图像传感器接收彩色图像序列，以及从至少一个深度图像传感器接收至少一个深度图像序列。所述彩色图像序列和所述深度图像序列均包括在一段时间内采集所述动态场景的图像。所述彩色图像传感器的数量大于所述深度图像传感器的数量。接收的彩色图像序列和接收的深度图像序列用于生成校准的彩色图像序列和校准的深度图像序列。初始3D点云块(3D patches)通过校准的彩色图像序列和校准的深度图像序列构建。对初始3D点云块进行扩展以生成3D点云(3D patch cloud)。3D点云可用于计算动态场景的3D网格曲面(3Dmesh surface)。

在某些情况下，为所述彩色图像传感器和所述深度图像传感器中的每个传感器确定内部参数和外部参数。利用参考图像传感器对所述彩色图像传感器和所述深度图像传感器进行几何校准来确定所述彩色图像传感器和所述深度图像传感器中的外部参数，其中，所述参考图像传感器是所述彩色图像传感器和所述深度图像传感器中的一个。根据所述内部参数和所述外部参数，对所述彩色图像序列和所述深度图像序列进行校正，以生成所述校准的彩色图像序列和所述校准的深度图像序列。在某些情况下，从所述校准的彩色图像序列和所述校准的深度图像序列中确定显著点集合。针对每个显著点，确定所述校准的彩色图像序列和所述校准的深度图像序列中的所述显著点对应的成像点集合。根据所述成像点集合，通过约束三角剖分计算对应于所述显著点的初始3D点云块。所述约束三角剖分(constrained triangulation)包括将成本函数最小化，所述成本函数包括所述校准的彩色图像序列的图像一致性度量或者所述校准的深度图像序列的深度一致性度量中的至少一个。在某些情况下，在空间上将所述校准的彩色图像序列和所述校准的深度图像序列的图像划分为单元。通过正则化优化的方式扩展所述初始3D点云块以生成覆盖所述单元的所述3D点云。