[发明专利]用于以沉浸模式来驾驶无人机的视频系统

说明书

技术领域

本发明涉及远程控制的机动设备，下文一般称作“无人机”。

背景技术

它们可以是飞行的无人机，尤其是旋转翼无人机，例如直升机、四螺旋桨直升机等。但是，本发明不限于驾驶飞行设备并与其交换数据；它还应用于在远程用户的控制下在地面上前进的滚动设备，必须按其最广含义来理解术语“无人机”。

飞行无人机的典型示例是法国巴黎的ParrotSA的AR.Drone2.0或Bebop，其为配有一系列传感器(加速度计、3轴陀螺测试仪、高度计)、捕捉无人机所面向的场景的图像的前向相机以及捕捉飞过地面的图像的俯视相机的四螺旋桨直升机。

文献WO2010/061099A2和EP2364757A1(ParrotSA)描述了此类无人机及其通过具有集成加速度计的触摸屏设备(例如Iphone型智能电话或iPad型平板(注册商标))的驾驶原理。这些设备包括检测驾驶命令和经Wi-Fi(IEEE802.11)或蓝牙局域网型无线链路与无人机双向交换数据所需的各种控制部件。它们进一步提供有显示无人机的前向相机捕捉的图像(叠加了允许通过用户手指在这一触摸屏上的简单接触来激活发命令的一定数量的符号)的触摸屏。

无人机的前向摄像机尤其能够用于“沉浸模式”或FPV(第一人称视角)驾驶，即用户以仿佛本人就在无人机上的相同方式使用相机的图像。它还可以用于捕捉无人机所面向的场景的图像序列。该用户因此能够以相机或摄录像机由无人机承载而非手持的相同方式使用无人机。收集的图像能够被记录、广播、在线放上网站、发送给其他互联网用户、在社交网络上共享等。

为了正确拍摄飞行，首先必须拥有可定向且稳定的相机。为此，相机可以安装在万向节系统上，或可以提供电子图像稳定化。

然而，对于这类FPV驾驶，从无人机的拍摄相机获取的经稳定的图像返回并不理想。具体而言，图像稳定化导致以下事实：它不再向驾驶员反映例如飞行器姿态等必要信息。更具体而言，在诸如四螺旋桨直升机等无人机悬停的情况下，拍摄相机的常规图像返回不令人感兴趣。的确，利用此类无人机，搜索以处理最可能的障碍，例如在桥墩之间飞行时拍摄一个点。

因此，驾驶员能够在此情况下在使用图像稳定相机拍摄期间左“看”和右“看”是合乎需要的。

在常规的FPV设备中，一副虚拟现实眼镜配有陀螺仪和加速度计，以将用户头部的位移纳入考虑。常规操作原理包括以下步骤：

a)测量飞行员头部的移动；

b)将飞行员头部的新位置发送给无人机；

c)根据飞行员头部的新位置来移动无人机相机的视点；

d)获取图像；

e)在相机具有例如鱼眼型透镜等非常变形的光学系统的情况下重新处理图像；

f)编码视频图像；

g)将无人机的视频图像传送给地面站；

h)在地面站中解码视频图像；

i)在地面站中，为各眼投影回视频图像。

具体而言，在EP2557468A2中描述了基于一副虚拟现实FPV眼镜上安装的传感器的此类相机定向控制技术。

上面提到的各步骤中的每一步骤花费一定的时间，且甚至使用现有的电子设备，也很难在不到200ms(即对于30图像/秒的帧率而言是6个图像)内执行这组步骤，主要是因为步骤b)和g)的数据传输时间。这一等待时间导致缺少飞行员的头部移动与虚拟现实眼镜中显示的图像之间的相关，这通常导致用户恶心。

避免这一问题的解决方案可能在于在无人机上360°捕捉图像，并将它直接传送给地面站。那样，就不再需要上述步骤b)、c)和g)。

然而，从无人机传送场景的在360°上具有所需清晰度的完整图像给地面站需要大量带宽，这不兼容无人机和地面站间的传输信道的相对有限的工作数据速率。

发明内容

本发明的一个目标是提出一种拍摄系统，该拍摄系统通过降低用户头部(有时是突然的)移动时观测到的等待时间来允许显著改进使用虚拟现实眼镜在FPV模式中驾驶无人机的体验。

为此，本发明提出了一种用于沉浸式地驾驶无人机的系统，包括，以本质上(具体而言，从上面提及的EP2557468A2)已知的方式，具有拍摄装置的无人机，以及地面站，包括：渲染经拍摄装置捕捉并通过无线通信装置从无人机传送的图像的虚拟现实眼镜；用于检测佩戴眼镜的用户的头部的定向变化的装置；以及适配成生成所渲染的图像的地面图形处理装置。