[发明专利]无人自主飞行器中的图像处理

说明书

各实施例包括用于处理由无人自主飞行器(UAV)的图像传感器捕获的图像的设备和方法。该UAV的处理器可确定该UAV的机体坐标矩阵。该处理器可确定该UAV的该图像传感器的估计旋转。该处理器可确定该UAV的估计旋转。该处理器可基于机体坐标矩阵、该图像传感器的估计旋转、和该UAV的估计旋转来变换由该图像传感器捕获的图像。

背景

正在开发用于较宽范围的应用的无人自主飞行器(UAV)。UAV通常装备有一个或多个传感器，诸如能够捕获图像、一系列图像、或视频的相机。然而，UAV的运动可能导致不可接受的失真或摇晃的图像或视频。

图像稳定(IS)指代在图像或视频的捕获期间检测和校正由于相机晃动而引入的虚假运动的过程。在最一般意义上，虚假全局运动可包括与预期相机路径的任何偏离以及由于非预期相机移动而引入的抖动。各种各样的机械图像稳定机构和技术可以是可用的。然而，此类机构对于纳入到大多数UAV中且与大多数UAV联用而言通常是太重且太昂贵的。

概述

各个实施例包括可在UAV的处理器上实现的用于处理由该UAV的图像传感器捕获的图像的方法。各个实施例可包括：确定该UAV的机体坐标矩阵，确定该UAV的该图像传感器的估计旋转，确定该UAV的估计旋转，以及基于该机体坐标矩阵、该图像传感器的估计旋转、和该UAV的估计旋转来变换由该图像传感器捕获的图像。在一些实施例中，该UAV的估计旋转可基于该UAV的所确定的机体坐标矩阵、该UAV的该图像传感器的估计旋转、和使用该机体坐标矩阵执行的转置中的一者或多者。在一些实施例中，该UAV的处理器可确定变换矩阵，可使用所确定的变换矩阵来变换由该UAV的该图像传感器捕获的图像。在一些实施例中，该处理器可将镜像置换矩阵应用于由该UAV的该图像传感器捕获的图像。在一些实施例中，该处理器可执行包括将该变换矩阵和该镜像置换矩阵应用于所捕获图像的一步操作。

一些实施例包括一种具有成像传感器(例如，相机)以及处理器的UAV，该处理器被配置有处理器可执行指令以执行以上概述的方法的操作。一些实施例包括一种UAV，其具有用于执行以上概述的方法的功能的装置。一些实施例包括其上存储有处理器可执行指令的处理器可读存储介质，这些处理器可执行指令被配置成使得UAV的处理器执行以上概述的方法的操作。

附图简述

纳入于此且构成本说明书一部分的附图解说了各示例实施例，并与以上给出的概括描述和下面给出的详细描述一起用来解释各个实施例的特征。

图1是根据各个实施例的UAV在通信系统内操作的系统框图。

图2是解说根据各个实施例的UAV的各组件的组件框图。

图3A是解说根据各个实施例的UAV的图像捕获和处理系统的各组件的组件框图。

图3B解说了根据各个实施例的失真图像。

图3C解说了根据各个实施例的经校正图像。

图4A和4B解说了根据各个实施例的由移动平台上的图像传感器捕获的图像中的图像失真。

图5A和5B解说了根据各个实施例的UAV的坐标系。

图6是解说根据各个实施例的UAV中的图像处理的方法的图像模型序列。

图7是解说根据各个实施例的UAV中的图像处理的方法的过程流程图。

详细描述

将参照附图详细描述各个实施例。在可能之处，相同附图标记将贯穿附图用于指代相同或类似部分。对特定示例和实施例作出的引述用于解说性目的，而无意限定权利要求的范围。