[发明专利]模型生成的图形图像到照相机帧的基于帧和象素的匹配

说明书

技术领域

本发明使用当前技术发展水平的计算机图形学来推进计算机视觉领域。

图形引擎，特别是那些实时使用的图形引擎，例如第一人称射击游戏，已经变得十分真实。本发明的基本概念是在图像处理中使用图形引擎：将那些由实时图形引擎生成的图像帧和那些来自照相机的图像帧匹配起来。

背景技术

在视觉或图像处理中有两个不同的任务。一方面有图像分析和特征识别这样困难的任务，另一方面有计算给定输入图像的照相机的3D世界的位置的不那么困难的任务。

在生物视觉中，这两个任务交织在一起使得将它们区分开是困难的。我们通过从我们周围的特征识别和做三角测量来感知我们在世界坐标中的位置。看起来如果我们没有首先识别出我们从中进行三角测量的特征的话，我们不能进行三角测量，并且除非我们可以在我们居住的3D世界的某个位置放置特征，我们不能真正识别。

如果不是所有的视觉系统，那么现有技术中绝大多数的视觉系统尝试在相同的系统中实现这两个任务。例如，参考专利号US5801970包括这两个任务；参考专利号US6704621看起来只包括三角测量，但是它实际上要求道路的识别。

发明内容

如果三角测量任务可以实际上与分析和特征识别任务分开并独立于分析和特征识别任务来进行，那么我们将需要不执行后者任务的系统中的一半的计算资源。通过利用通信处理中的当前的进展，本发明允许照相机位置的三角测量而不进行通常的景物分析和特征识别。本发明利用在视觉领域的世界的先验的、正确的模型。使用最新的图形处理单元在图形表面上绘制3D模型。然后在图形表面上绘制的多个候选中搜索来自照相机的每个帧用于最佳匹配。通过从一个帧到另一个帧计算照相机位置和视角的改变使得绘制的要比较的图像的计数是小的，然后使用这样计算的结果来限制下一个可能的位置和视角以绘制先验的世界模型。

本发明和现有技术相比较的主要优点是将真实世界映射到世界模型。本发明的一个最适合的应用是机器人编程。以先验的地图引导的机器人以及知道自己在地图中的位置的机器人要远远优于没有被这样引导的机器人。对于导航、引导、寻找路径、避免障碍、瞄准关注点以及其他机器人任务来说是卓越的。

附图说明

图1是示出在真实世界中照相机的活动是如何在3D模型的世界中被追踪的本发明的实施例的图表。

图2是分成区域的透视图表面或者照相机帧的示例。

图3是下面描述的算法的高层流程图。

具体实施方式

图1中示出了本发明的优选实施例的图表。使用当前可用的先进的图形处理器101在绘制的图像102、103和104上绘制(render)了世界100的先验的模型。该模型是真实世界110的正确的但是不必要是完整的模型。本发明的目的在于分别追踪在时间t和t+1产生帧107和108的照相机309的位置和视角。帧107和108用作主要实时输入，输入至设备。使用现有技术水平的方法从帧107和108计算光流矢量。从这些光流矢量根据现有技术以对噪声和异常值具有鲁棒性(robust)的方式可以得出正确的取向和照相机视角。然后在有当前的取向定义的线上的点周围，假设在距当前的位置由当前的速度决定的距离的地方为下一个可能的位置(105)。通过图形处理器或者处理器101在N个候选图像102、103和104中绘制可能的候选位置N。然后将每个绘制的图像和当前的照相机帧进行比较，并且选出最匹配的图像(106)。从选出的图像，也可以从候选位置中选出照相机的最精确的位置，瞬态速度、视角以及角速度。

使用图3所示的流程图中的下面的步骤在本发明中实现动态的，帧与帧的三角测量(追踪)。在下面的步骤描述中，对于每个来自照相机的视频帧，具有假设的一批可能的帧，其由图形处理器绘制来进行比较。在本发明中，这样的比较最耗费计算能力。视频帧在垂直和水平分辨率上都等于绘制的图像。如图2所示，每个帧和每个绘制的图像被分成多个矩形区域，其可以相互之间重叠多个象素。

1.以来自照相机的一帧开始，当获得该帧时，已知在瞬时时间‘t’照相机的绝对世界位置P(t)、视角V(t)、零速度u(t)＝0以及零角速度w(t)＝0。计算这一帧的所有区域(Cs)的离散快速傅立叶变换(FFT)，并且提取变换的相位分量，在区域‘a’时间‘t’的PFC(a，t)。

2.取得下一帧。计算所有PFC(a，t+1)，在区域a时间t+1中的FFT的相位分量。