[发明专利]动态三维成像方法

说明书

本文公开了一种允许生成呈现被观察的三维场景的三维数值模型的动态三维成像方法。生成的模型最优地结合(404)来自两个中间三维数值模型的数据，两个中间三维数值模型分别通过立体三维重构计算方法(402)和通过学习的三维重构计算方法(403)获得。此外，生成的每个新模型帮助提高通过学习的三维重构计算方法的整体性能。

技术领域

本发明总体上涉及三维成像。更具体而言，其涉及一种三维成像方法，该方法允许从给定三维场景的多个二维数字图像动态重构三维数值模型。

背景技术

目前，存在多种能够生成三维数值模型以呈现三维场景的方法。在这些方法中，所谓的立体重构方法和所谓的学习重构方法对于针对公众的工业应用来说是特别有吸引力的，因为它们使用来自无源图像传感器的二维数字图像流来重构场景的三维数值模型。

图1是以简化的方式示出上述两种方法共用的步骤的步骤视图，这些步骤允许由二维数字图像生成三维数值模型。这些方法以迭代的方式执行，其中每次迭代能够生成恰当地丰富和完成在之前的迭代过程中建立的三维模型的三维数值模型。

在接收呈现给定的三维场景的一个或多个二维数字图像的步骤101之后，分别由所谓的位置估计阶段和所谓的三维信息估计阶段构成步骤102和103。一方面，位置估计阶段包括在给定时刻t确定用于获取二维数字图像的图像传感器相对于在该时刻t已经建立的三维数值模型的位置。以本身已知的方式，该确定通过考虑二维图像和三维模型两者优化标准而执行(例如，通过二维或三维切除或者通过优化光度标准)。另一方面，三维信息估计阶段包括通过从在相同时刻t接收到的二维图像通过两种方法中每种方法所特有的计算式来计算三维数值模型。

最终，在步骤104期间，将在三维重构计算结束时得到的三维信息在考虑图像传感器的实际位置的情况下添加到已经建立的三维数值模型。该信息可恰当地改变已经建立的模型的某些特征，以便改善其精度。

在两种方法共用的这些方面之外，每种方法具有其自身的优点和缺点。

一方面，立体三维重构计算方法不需要在其应用之前的任何信息，并且能够适用于很多种三维场景。然而，其性能取决于观察到的特定类型的场景。具体而言，当观察到的场景的区域没有纹理或存在反射或遮挡时，该方法的重构性能显著下降。此外，该方法的一个重要限制在于需要使用至少两个分开的二维图像才能够生成呈现任何三维场景的三维模型。

另一方面，通过学习的三维重构计算方法依赖于特定的算法(例如基于深度神经网络的算法)来从单个或多个二维数字图像生成三维数值模型。这些算法可以训练，也就是说，它们可以由于学习过程而改进性能，在学习过程期间，算法面对与确定的三维模型相关联的大量变化的二维图像组。有利地，该方法因此可以无差别地应用到任何类型的场景。其性能实质上仅取决于之前执行的学习的质量以及在该学习期间使用的数据。然而，没有集成到该学习过程中的目标或场景将仅被不完全地重构，如果有的话。此外，总体上，由该方法生成的三维模型的精度目前还低于由立体三维重构计算方法生成的模型的精度。

文档WO2018/039269A1公开了一种在增强现实眼镜上使用多个图像传感器的装置。该装置使用获取的二维图像来经由学习计算方法确定装置在其环境中的位置，并执行观察到的场景的动态三维重构。然而，重构三维模型的准确度在该应用中不是问题。还应注意，该装置使用上述两种方法的仅一种。

发明内容

本发明的目标在于消除或至少减轻现有技术的全部或部分上述缺点。

为此，本发明的第一方面提出了一种动态三维成像方法，该方法包括由计算单元执行的下列步骤：

-接收呈现被观察的三维场景的至少两个二维数字图像，所述至少两个二维数字图像由至少一个确定的图像传感器从空间中至少两个相应位置获取；

-基于立体三维重构计算方法，从所述二维数字图像生成与所述被观察的三维场景相关联的第一中间三维数值模型；