[发明专利]利用视觉特征进行图像的自动连接

说明书

本公开的方面涉及在图像之间生成导航路径。可选择从第一位置(312)获取的第一图像(310)和从第二位置(322)获取的第二图像(320)。可确定第一位置(312)相对于第二位置(322)的定位。可基于该定位来选择用于第一图像和第二图像的第一帧和第二帧(330、350)。可识别第一图像帧和第二图像帧(330、350)中的每一个图像帧的第一组视觉特征和第二组视觉特征。可确定第一组视觉特征与第二组视觉特征之间的匹配视觉特征(510、520)。可通过评估匹配视觉特征(510、520)的一个或多个定位来确定第一图像和第二图像(310、320)之间的视线的置信水平。至少基于该置信水平，生成从第一图像(310)到第二图像(320)的导航路径(620)。

相关申请的交叉引用

本申请为2015年8月7日提交的美国专利申请No,14/821,118的继续申请，该申请的公开由此通过引用并入本文。

背景技术

目前在世界各处存在巨大量的球面全景图像。由于当全景图像本身相对于地球被现实地摆姿态(pose)时，不同全景图像之间的成像排队(line up)，附近连接的全景图像允许用户以感觉好像他们导航于真实三维空间一样的方式通过所述全景图像导航。然而，基于距离和图形拓扑来确定全景图像之间的连接性是非平凡的，特别是在没有全景图像的几何形状的知识的情况下。对于未沿全景图像通常共享视线的街或其它区域捕获的全景图像提出添加的挑战。

发明内容

本公开的方面提供了一种方法。该方法包括：通过一个或多个处理器选择从第一位置获取的第一图像和从第二位置获取的第二图像；通过一个或多个处理器确定第一位置相对于第二位置的定位；通过一个或多个处理器基于该定位选择第一图像上的第一帧和第二图像上的第二帧；通过一个或多个处理器识别第一帧中的第一图像的第一组视觉特征，以及第二帧中的第二图像的第二组视觉特征；通过一个或多个处理器确定第一组视觉特征与第二组视觉特征之间的匹配视觉特征数目；通过一个或多个处理器，通过评估匹配视觉特征的一个或多个定位来确定第一图像和第二图像之间的视线的置信水平；以及，通过一个或多个处理器，至少基于该置信水平生成从第一图像到第二图像的导航路径。

在一个示例中，第一帧位于来自第一位置的方向，并且第二帧位于来自第二位置的方向，并且第一帧和第二帧以第一位置和第二位置之间的直线路径为中心。在另一示例中，确定第一位置相对于第二位置的定位还包括确定第一图像和第二图像的姿态信息，该姿态信息包括关于基本方向的第一图像和第二图像的定向信息。

在进一步示例中，该方法还包括，对于给定的一对匹配的第一视觉特征和第二视觉特征评估该第一匹配视觉特征和第二匹配视觉特征的定位，将第一射线从第一位置投射到第一全景图像中的第一匹配视觉特征；将第二射线从第二位置投射到第二全景图像中的第二匹配视觉特征；以及，确定第一射线和第二射线是否在第一全景图像和第二全景图像之间的区域中彼此最接近，其中基于确定第一射线和第二射线是否在第一全景图像和第二全景图像之间的区域中彼此最接近来进一步确定置信水平。

在又一示例中，确定视线的置信水平还包括为每个匹配视觉特征对分配权重，该权重对应于以下中的至少一个：(1)给定匹配视觉特征的再投影误差；(2)每个给定匹配视觉特征与第一位置和第二位置之间的直线路径的角度距离；以及(3)给定匹配视觉特征之间的视觉相似性。在该示例中，置信水平可根据以下中的至少一个确定：(1)与视觉特征匹配的所识别到的视觉特征的百分比；(2)分配给每个匹配视觉特征对的权重；(3)第一图像和第二图像之间的距离；以及(4)匹配视觉特征的估计位置的残差。

替代或另外地，在该示例中，匹配视觉特征的估计位置可通过以下确定：将第一射线从第一位置投射到第一组视觉特征中的第一特征；将第二射线从第二位置投射到第二组视觉特征中的第二特征，第一特征和第二特征为一对匹配视觉特征；以及当第一射线和第二射线在彼此的预定距离内时，将最接近第一射线和第二射线彼此最接近之处的点设定为第一特征和第二特征的估计位置。在该替代或附加示例中，该方法还可包括，当第一射线和第二射线不在预定距离内或偏离时，从匹配视觉特征数目中去除该匹配视觉特征对。