[发明专利]用于增强立体显示的系统和方法

说明书

本文提供了用于处理并显示由可移动物体获得的立体视频数据的系统、方法和装置。可以提供一种用于感测可移动物体被配置为在其中操作的环境的方法。还可以提供一种生成环境的第一人称视角(FPV)的方法。所述方法可以包括：借助于一个或多个处理器，单独地或共同地分析环境的立体视频数据以确定环境信息，并通过将立体视频数据和环境信息融合来生成环境的增强立体视频数据。

背景技术

包含第一人称视角(FPV)图像或视频的用户界面可以提供交互式和沉浸式用户体验。在一些情况下，可以在双目视觉显示装置上呈现FPV图像或视频。通过显示装置上的FPV操作无人机(UAV)的用户可以获得类似于在空中驾驶载运工具的体验。在一些情况下，当使用广角镜头捕获FPV图像或视频时，可能会发生透视失真，这可能会影响用户对物理环境中的物体之间距离的感知，并可能会在UAV的操作期间危及飞行安全。

发明内容

需要一种直观且易于使用、并允许用户通过与人机界面的交互来安全地管理和操作飞行器的FPV飞行控制和引导系统。本发明解决了这个需要，还提供了相关优点。

在本发明的一方面，提供了一种用于生成环境的第一人称视角(FPV)的方法。所述方法可以包括：借助于一个或多个处理器，单独地或共同地：分析环境的立体视频数据以确定环境信息；通过将所述立体视频数据和所述环境信息融合来生成环境的增强立体视频数据。

根据本发明的一方面，提供了一种用于生成环境的第一人称视角(FPV)的设备。所述设备可以包括一个或多个处理器，单独或共同地被配置为：分析环境的立体视频数据以确定环境信息；将所述立体视频数据和所述环境信息融合，由此生成环境的增强立体视频流。

在本发明的另一方面，提供了一种存储指令的非暂时性计算机可读介质，所述指令在被执行时使计算机执行用于生成环境的第一人称视角(FPV)的方法。由计算机执行的方法可以包括：分析环境的立体视频数据以确定环境信息；以及将所述立体视频数据和所述环境信息融合，由此生成环境的增强立体视频数据。

在本发明的又一方面，提供了一种用于显示环境的信息的方法。所述方法可以包括：在远离可移动物体的终端上，基于增强立体视频数据显示环境的第一人称视角(FPV)，其中，增强立体视频数据是通过合并以下内容而生成的：(a)在所述环境中操作可移动物体时由可移动物体生成的立体视频数据，以及(b)环境信息。

本发明的另一方面提供了一种用于显示环境的信息的设备。所述设备可以包括：在远离可移动物体的终端上，基于增强立体视频数据显示环境的第一人称视角(FPV)，其中，增强立体视频数据通过将以下内容融合而生成：(a)在所述环境中操作可移动物体时由可移动物体生成的立体视频数据，以及(b)环境信息。

在本发明的又一方面，提供了一种用户显示环境的信息的设备。所述设备可以包括一个或多个处理器，单独或共同地被配置为：在远离可移动物体的终端上，基于增强立体视频数据显示环境的第一人称视角(FPV)，其中，增强立体视频数据是通过将以下内容融合而生成的：(a)在所述环境中操作可移动物体时由可移动物体生成的立体视频数据，以及(b)环境信息。

在本发明的一方面，提供了一种存储指令的非暂时性计算机可读介质，所述指令在被执行时使得计算机执行用于显示环境的信息的方法。所述方法可以包括：在远离可移动物体的终端上，基于增强立体视频数据显示环境的第一人称视角(FPV)，其中，增强立体视频数据是通过将以下内容融合而生成的：(a)在所述环境中操作可移动物体时由可移动物体生成的立体视频数据，以及(b)环境信息。

在一些实施例中，分析立体视频数据可以包括对图像帧进行立体匹配和/或深度图计算。立体匹配可以包括：基于从图像帧中提取的特征点的运动特性来匹配所述特征点。深度图计算包括：过滤深度图，并将阈值应用于深度图。所述阈值可以被应用于对深度图内具有预定大小和/或预定数量的像素的环境中的物体进行分类。