[发明专利]距离图像像素匹配方法

说明书

技术领域

本发明总体涉及数字图像处理，尤其是将表示从第一视点观看的场景的距离图像变换成表示从第二偏移视点观看的相同场景的距离图像。例如，可以将根据本发明的方法用于融合距离图像（3D图像）和从不同视点拍摄的常规图像（2D图像）。

背景技术

近年来，基于飞行时间（ToF）原理的3D摄像机已经可以在市场上买到。与2D摄像机相比，它们针对每个像素测量场景中的点到摄像机的径向距离，而2D摄像机仅提供场景的灰色或彩色图像。另一方面，ToF摄像机比常见2D摄像机具有低得多的分辨率，距离测量受到噪声的影响。因此，正在进行很多研究与开发活动，旨在融合2D和3D摄像机的数据，以便得益于不同传感器技术的相互加强。在本文的语境中，数据融合指原始数据的融合，即，与更高融合水平相对的低水平流程，其中融合处理经后期处理的数据（特征或判定融合）。例如，可能的应用是图像消光（分开背景和前景）。在发生时，可以基于3D图像的距离信息识别2D图像的背景和/或前景（参见，例如[1]）。其他研究活动旨在通过融合距离数据与高分辨率2D图像来提高3D摄像机的精确度和分辨率（例如，参见[2]和[3]）。

原始数据融合需要个体传感器记录的数据之间精确的像素对准。这种对准也称为数据匹配，包括将两个个体数据集映射到相对于统一的参照系定义的公共图像坐标网格。在这种情况下，个体传感器参照系与统一参照系（可以与传感器参照系之一重合）之间的关系决定了两个数据集到公共图像网格上的映射，即数据匹配。

如果两个传感器的参照系不同心，即如果两个摄像机彼此相对地位移，就会发生一个特别的问题，通常就是这种情况。由于两个摄像机的相对位移，场景的3D点投影到个体传感器上的位置相差一个偏移，在立体视觉领域中称为双目视差。这种视差取决于从场景中的被成像点到摄像机的距离。因此，2D和3D摄像机像素的对应不是固定关系，而是取决于场景中的物体。于是，在公共网格上绘制数据取决于场景中的距离，无论何时只要场景变化都需要重新计算，对于数据采集的每个帧通常都是这种情况。

在立体视觉中，该问题被称为对应问题。其解决方案提供了所谓的视差图，其允许计算物点[6，7]的距离。通常由两个立体图像的特征匹配或相关分析进行对应点的检测。这些方法需要进行数值计算，在阴影效应、非结构化场景或周期性图案下可能会失败。

将2D摄像机数据与来自3D传感器的数据匹配也需要应对对应问题。除了立体视觉技术需要数值计算之外，在两个传感器数据集的数据分辨率和类型不同的情况下，它们的应用如果不是不可能的话，也有困难。不过，对于包括低分辨率3D传感器的传感器系统和高分辨率2D摄像机系统而言，情况正是如此。

必须要指出，在立体视觉中，（通过特征匹配或相关分析）解决了对应问题，以便确定场景中对应点的距离。在对同样场景的2D和3D图像进行数据融合时，目的不是基于视差图提取距离。实际上，由于3D摄像机拍摄的数据包含关于场景的距离信息，所以可以估计出不同传感器上投影之间的视差。最后可以使用视差识别两个图像中的对应像素。

技术问题

本发明的目的是提供一种在计算上有利的方法，用于将表达从第一视点观看的场景的距离图像变换成表达从第二偏移视点观看的相同场景的距离图像。这个目的是通过权利要求1所述的方法实现的。

发明内容

根据本发明，提出了一种方法，优选是计算机、软件或硬件实施的方法，用于匹配从第一视点观看的场景的第一距离图像的像素与从第二视点观看的场景第二距离图像的像素。该方法包括以下步骤：

○提供所述第一距离图像作为像素网格，下文中称为“源像素”，在所述网格上根据与所述第一视点相关联的第一投影映射所述场景，其中每个源像素都具有根据所述第一投影而投影于其上的所述场景中的点，并具有针对所述场景中的点确定的与之关联的距离值；

○为所述第二距离图像提供像素（下文中称为“目标像素”）网格和与所述第二视点相关联的第二投影（第二投影描述从第二视点观看的透视图）；以及

○对于每个目标像素，

a)如果被成像场景是距所述第一视点一定距离（下文中称为“表面距离”）处的平面表面，判断哪个源像素会与根据所述第二投影的所述目标像素具有根据所述第一投影而投影于其上的所述场景中的相同的点；

b)基于该源像素的距离值，确定在步骤a）中确定的所述源像素根据所述第一投影实际投影于其上的所述场景中的点的深度坐标；