[发明专利]一种利用可重构混合成像系统的动态场景的三维3D重建方法

权利要求书

1.一种计算机实现的用于动态场景的三维3D重建方法，其特征在于，包括：

一个或多个硬件处理器从多个彩色图像传感器接收多个彩色图像序列，以及从至少一个深度图像传感器接收至少一个深度图像序列，其中，所述彩色图像传感器的数量大于所述深度图像传感器的数量；

所述一个或多个硬件处理器基于所述多个彩色图像序列和所述至少一个深度图像序列生成多个校准的彩色图像序列和至少一个校准的深度图像序列；

所述一个或多个硬件处理器利用所述多个校准的彩色图像序列和所述至少一个校准的深度图像序列构造多个初始3D点云块；

所述一个或多个硬件处理器通过扩展所述多个初始3D点云块生成3D点云。

2.根据权利要求1所述的方法，其特征在于，所述多个彩色图像序列和所述至少一个深度图像序列均包括在一段时间内采集所述动态场景的图像。

3.根据权利要求1或2所述的方法，其特征在于，所述生成多个校准的彩色图像序列和至少一个校准的深度图像序列包括：

为所述多个彩色图像传感器和所述至少一个深度图像传感器中的每个传感器确定内部参数和外部参数；

根据所述内部参数和所述外部参数，对所述多个彩色图像序列和所述至少一个深度图像序列进行校正，以生成所述多个校准的彩色图像序列和所述至少一个校准的深度图像序列。

4.根据权利要求1-3中任一项所述的方法，其特征在于，所述为所述多个彩色图像传感器和所述至少一个深度图像传感器中的每个传感器确定外部参数包括：利用参考图像传感器对所述多个彩色图像传感器和所述至少一个深度图像传感器进行几何校准，其中，所述参考图像传感器为所述多个彩色图像传感器和所述至少一个深度图像传感器中的一个。

5.根据权利要求1-4中任一项所述的方法，其特征在于，所述构造多个初始3D点云块包括：

从所述多个校准的彩色图像序列和所述至少一个校准的深度图像序列中确定显著点集合；

针对每个显著点：

确定所述多个校准的彩色图像序列和所述至少一个校准的深度图像序列中的所述显著点对应的成像点集合；

根据所述成像点集合通过约束三角剖分计算对应所述显著点的初始3D点云块。

6.根据权利要求1-5中任一项所述的方法，其特征在于，所述约束三角剖分包括将成本函数最小化，所述成本函数包括所述多个校准的彩色图像序列的图像一致性度量或者所述至少一个校准的深度图像序列的深度一致性度量中的至少一个。

7.根据权利要求1-6中任一项所述的方法，其特征在于，所述通过扩展所述多个初始3D点云块生成3D点云包括：

在空间上将所述多个校准的彩色图像序列和所述至少一个校准的深度图像序列的图像划分为单元；

通过正则化优化的方式扩展所述多个初始3D点云块以生成覆盖所述单元的所述3D点云。

8.根据权利要求1-7中任一项所述的方法，其特征在于，所述方法还包括：使用所述3D点云计算3D网格曲面，其中，所述3D网格包括所述动态场景的3D重建。

9.一种计算机实现的系统，其特征在于，包括：

存储器，包含用于动态场景的三维3D重建的指令；以及

与所述存储器通信的一个或多个硬件处理器，其中，所述一个或多个硬件处理器执行所述指令，从而：

从多个彩色图像传感器接收多个彩色图像序列，以及从至少一个深度图像传感器接收至少一个深度图像序列，其中，所述彩色图像传感器的数量大于所述深度图像传感器的数量；

基于所述多个彩色图像序列和所述至少一个深度图像序列生成多个校准的彩色图像序列和至少一个校准的深度图像序列；

利用所述多个校准的彩色图像序列和所述至少一个校准的深度图像序列构造多个初始3D点云块；

通过扩展所述多个初始3D点云块生成3D点云。