[发明专利]用于创建单视角合成图像的系统和方法

说明书

呈现了用于使用图像合成来控制运动中的机器人设备的技术。一种方法包括：基于由安装在机器人设备上的相机所捕获的第一和第二输入图像中包括的图像块来确定局部运动特征；基于局部运动特征来确定相机运动，其中相机运动指示相机在第一输入图像的捕获与第二输入图像的捕获之间的移动；基于相机运动来确定场景几何结构，其中场景几何结构是与图像块的二维图像坐标对应的一组三维坐标；基于相机运动和场景几何结构来生成单视角合成图像；基于合成图像来检测第一输入图像与第二输入图像之间的变化；以及基于检测到的至少一个变化来修改机器人设备的运动。

相关申请的交叉引用

本申请要求于2018年8月13日提交的美国临时申请No.62/718,188的权益，其内容通过引用结合于此。

技术领域

本公开一般涉及图像捕获，更具体地涉及基于在不同视角捕获的图像来创建单视角图像。

背景技术

机器人市场从2016年左右就已经兴起，使得预测在随后的几年中将创建数十亿的机器人。机器人的使用已经在例如消费、商业和工业应用等许多领域扩展。

为了辅助各种功能，机器人通常配备有用于检测其环境中的特征的传感器。这些传感器中的一些可以辅助机器人的空间感知。例如，相机可以用于周围环境中的物体的视觉标识。使用这些传感器提供空间感知需要复杂的机器视觉系统。利用这些复杂的机器视觉系统的现有机器人经常在准确检测障碍物和其他物体时面临挑战。而且，没有现成的解决方案，因此，将这些机器视觉系统结合到现有机器人中通常需要大量的人工调整。这些和其它挑战分散了对机器人开发者所面临的其它问题的注意力，从而阻碍了进步。

因此，提供一种克服上述挑战的解决方案将是有利的。

发明内容

下面是本公开的几个示例性实施例的概述。提供本概述是为了方便给读者提供对这些实施例的基本理解，而不是完全限定本公开的广度。该概述不是对所有预期实施例的广泛综述，并且既不旨在识别所有实施例的关键或重要元素，也不旨在描绘任何或所有方面的范围。其唯一目的是以简化形式呈现一个或更多个实施例的一些概念，作为稍后呈现的更详细描述的前序。为了方便起见，在本文中，术语“一些实施例”或“某些实施例”可用于指本公开的单个实施例或多个实施例。

本文公开的某些实施例包括一种用于使用图像合成来控制运动中的机器人设备的方法。该方法包括：基于由安装在机器人设备上的相机所捕获的多个输入图像中包括的多个图像块来确定多个局部运动特征，多个输入图像包括第一输入图像和第二输入图像；基于多个局部运动特征来确定相机运动，其中相机运动指示相机在第一输入图像的捕获与第二输入图像的捕获之间的移动；基于相机运动来确定场景几何结构，其中，场景几何结构是与多个图像块的二维图像坐标相对应的一组三维坐标；基于相机运动和场景几何结构来生成合成图像，其中，合成图像是单视角图像；基于合成图像来检测第一输入图像与第二输入图像之间的至少一个变化；以及基于检测到的至少一个变化来修改机器人设备的移动。

本文公开的某些实施例还包括一种非暂时性计算机可读介质，非暂时性计算机可读介质上存储有使处理电路执行过程的指令，该过程包括：基于由安装在机器人设备上的相机所捕获的多个输入图像中包括的多个图像块来确定多个局部运动特征，多个输入图像包括第一输入图像和第二输入图像；基于多个局部运动特征来确定相机运动，其中相机运动指示相机在第一输入图像的捕获与第二输入图像的捕获之间的移动；基于相机运动来确定场景几何结构，其中，场景几何结构是与多个图像块的二维图像坐标相对应的一组三维坐标；基于相机运动和场景几何结构来生成合成图像，其中合成图像是单视角图像；基于合成图像来检测第一输入图像与第二输入图像之间的至少一个变化；以及基于检测到的至少一个变化来修改机器人设备的移动。