[发明专利]使用惯性传感器和图像传感器的传感器融合

说明书

本发明提供了用于使用多个传感器来控制可移动物体的系统、方法和装置。在一方面，提供了一种用于标定具有处于初始配置中的多个传感器的可移动物体的一个或多个外部参数的方法。所述方法可以包括：检测所述多个传感器的所述初始配置已被修改；在所述可移动物体的操作期间，从至少一个惯性传感器接收惯性数据；在所述可移动物体的所述操作期间，从至少两个图像传感器接收图像数据；以及响应于检测到所述初始配置已被修改，基于所述惯性数据和所述图像数据来估计所述一个或多个外部参数，其中所述一个或多个外部参数包含处于所述经修改的配置中的所述多个传感器之间的空间关系。

背景技术

诸如无人飞行器(UAV)等无人载具可以用于执行监视、侦察和勘探任务以供多种民用、商用和军事应用。无人飞行器可以由远程用户手动控制，或者能够以半自主或者全自主方式操作。此类无人飞行器可以包括传感器，所述传感器被配置成用于收集可在无人飞行器操作期间使用的数据，诸如状态信息。

在一些情况下，用于数据收集和处理以供无人飞行器操作的现有方法可能不是最优的。例如，用于估计无人飞行器的状态信息的一些技术可能不够准确，这对于无人飞行器功能可能不利。

发明内容

本公开内容提供了涉及对诸如无人飞行器(UAV)等可移动物体的控制和操作的系统、方法和装置。在一些实施方式中，本文描述的系统、方法和装置利用传感器融合来支持以提高的准确性和灵活性来确定与无人飞行器操作有关的信息。例如，可以使用一个或多个惯性传感器以及一个或多个图像传感器的融合来改进初始化、错误恢复、参数标定和/或状态估计。从这些过程获得的信息可以用于帮助无人飞行器操作，例如，自主或半自主导航、避障、测绘等。

在一方面，提供了一种用于使用多个传感器来确定可移动物体的初始化信息的方法。所述方法可以包括：借助于一个或多个处理器来检测所述可移动物体已经开始操作；在所述一个或多个处理器处从由所述可移动物体携带的至少一个惯性传感器接收惯性数据；在所述一个或多个处理器处从由所述可移动物体携带的至少两个图像传感器接收图像数据；以及借助于所述一个或多个处理器，基于所述惯性数据和所述图像数据来确定所述可移动物体的所述初始化信息，其中所述初始化信息包含当所述可移动物体开始操作时以下各项中的一项或多项：所述可移动物体的位置、所述可移动物体的速度或所述可移动物体相对于重力方向的朝向。

在一些实施方式中，所述可移动物体是无人飞行器(UAV)。检测所述无人飞行器已经开始操作可以包括检测所述无人飞行器已经开始飞行。所述无人飞行器可以从自由落体状态开始飞行以及/或者通过由用户投掷而开始飞行。检测所述无人飞行器已经开始操作可以包括检测所述无人飞行器已经从表面起飞，并且所述表面可以是倾斜的表面或无倾角的表面。

在一些实施方式中，所述惯性数据包括指示出所述可移动物体的三维加速度和三维角速度的一个或多个测量值。所述惯性数据可以包括在从所述可移动物体开始操作时起算的时间间隔内，由所述至少一个惯性传感器获得的一个或多个测量值。

在一些实施方式中，所述图像数据包括所述可移动物体周围环境的一个或多个图像。所述图像数据可以包括在从所述可移动物体开始操作时起算的时间间隔内，由所述至少两个图像传感器中的每一个获得的一个或多个图像。在一些实施方式中，所述确定步骤包括使用特征点检测算法来处理所述一个或多个图像。所述确定步骤可以包括使用光流算法来处理所述一个或多个图像。所述确定步骤可以包括使用特征匹配算法来处理所述一个或多个图像。所述确定步骤可以包括将由所述至少两个图像传感器中的第一图像传感器获得的一个或多个图像与由所述至少两个图像传感器中的第二图像传感器获得的一个或多个图像进行比较。