[发明专利]确定为确定照相机的姿态和/或为确定至少一个真实对象的三维结构而设计的参数集的方法

说明书

技术领域

本发明涉及一种确定参数集（parameter set）的方法，所述参数集被设计为用于确定照相机相对于由照相机拍摄的至少一个真实对象的姿态和/或用于确定所述至少一个真实对象的三维结构。

背景技术

在计算机视觉领域中的许多应用需要以亚像素精度对准两幅图像，例如在Irani,M.&Anandan,P的Vision Algorithms’99,All about direct methods,Springer-Verlag Berlin Heidelberg,2000,267-277([1])中描述的，例如图像拼接和超分辨率，它自然也可以用作增强现实应用的基础。虽然存在关于动作的平面模板跟踪以及连续结构的完整的文献资料，但是只存在公知的诸如在Silveira,G.&Malis,E在Unified direct visual tracking of rigid and deformable surfaces under generic illumination changes in grayscale and color images IJCV,2010,89,84-105([2])中描述的一种方法，其也同步地恢复在参考图像中所描绘的对象的形状以估计相对的照相机动作。这将在下文中进行更详细的描述。

在单眼可变形模板跟踪领域中，存在各种方法。具有直接和间接方法，前者专门在强度上对工作进行分类，而后者还使用诸如特征点或线之类的抽象概念。特征点具有如下优点：它们在存在相对大的基线的情况下也可以建立对应关系，尽管假定没有（脱机）训练阶段，计算这些对应关系的计算成本很高。然而，直接方法依赖于相对小的基线，但是由于使用了所有可用的信息因而是非常精确的。

J.Pilet,V.Lepetit和P.Fua在Fast non-rigid surface detection,registration and realistic augmentation.IJCV,76(2):109-112,2007([7])使用粗糙的基于点的检测方法来获得近似配准（registration）。在这之后它们通过使图像空间中的三角形网格变形来精炼。它们的方法对于大量的异常值是鲁棒的。然而，它被设计为只工作在诸如一张纸之类的单一初始的平面对象上，也专门地在图像空间中执行优化。

视觉SLAM

在视觉SLAM（同步定位和地图构建）区域中，诸如Davison,A.J.,Reid I.D.,Molton,N.D,Stasse,O.MonoSLAM:Real-Time Single Camera SLAM PAMI,2007,26,1052-1067([3])or Klein,G.&Murray,D.:Parallel Tracking and Mapping for Small AR Workspaces ISMAR,2007([4])之类的方法将环境建模为基于凸起特征点的点云。

此外，在[3]和[4]中描述的方法两者都使用两步法，以建立在模型和图像之间的匹配；将模型的点投影到图像中；然后，在投影的特定邻域中搜索最高类似度的测量值，并且接受其作为逐点匹配。从这些匹配中计算照相机的姿态。

虽然产生密集的环境模型，但是Newcombe,R.&Davision,A.Live dense reconstruction with a single moving camera CVPR,2010([5])也内在地依赖于特征点，因为它们采用如[4]中描述的方法作为跟踪和重建的基础。

可变形表面的统一的直接视觉跟踪：

在Silveira and Malis[2]的可变形跟踪算法中，基于最初的估计，他们迭代地计算参数的更新，所述参数对照相机的动作以及参考图像中描绘的对象的结构进行编码。然而，他们提出的优化单纯地工作在2D中，即在图像空间中。这意味着在优化期间（对于参考模板的移动）使用该单应矩阵作为黑匣子，即没有至3D真实世界实体的直接连接。对于表面的变形，他们使用中心的概念，即在模板图像上所选择的2d点，其中，投影的深度是估计的。他们建议了两种不同的用于将中心的位置外插为全网格的策略，双三次外插或径向基函数（RBF）。

尽管结果很好，但是Silveira和Malis[2]以参数的优化为基础，这仅仅在图像空间具有直接意义。使用照相机的校准，能够在最小化内部使用更少的参数，并且能够基于物理约束设计正则化（regularization）函数。