[发明专利]一种基于无人机的成像系统和方法

说明书

本发明提供了一种基于无人机的成像系统，包括：无人机和成像控制装置；其中，无人机包括：3个以上的无人机摄像头；多路视频处理模块；以及无人机通信模块，成像控制装置包括：头戴式显示屏，其用于显示无人机发送的图像；眼球跟踪单元，其用于跟踪使用者的虹膜的方位角和仰角变化；以及控制装置通信单元，其用于与无人机通信模块通信。还提供了一种基于无人机的成像方法。可以提高图像的视角切换的响应速度，快速地改变头戴式显示屏视角，实现浸入式的体验。

技术领域

本发明涉及图像处理技术领域，特别涉及一种基于无人机的成像系统和方法。

背景技术

无人机和增强现实(Augmented Reality，简称AR)技术是目前最火的两个技术，在遥控无人机领域，玩具无人机、航拍摄影无人机、农业无人机等等各种无人机百花齐放竞相争鸣，在增强现实领域，各种AR游戏层出不穷，火爆异常。但是如何将这两者进行结合一直是一个难题。

例如，开发的一种基于无人飞机的增强现实游戏，即利用无人机作为载体，由操纵者扮演飞行员，通过增强现实技术将无人机的(摄像头)视野与操纵者的(显示器显示的)视野同步，将给操纵者带来真实的空战体验。

发明内容

为了解决以上技术问题，根据本发明的第一个方面，提供了一种基于无人机的成像系统其包括：无人机和成像控制装置；其中，无人机包括：3个以上的无人机摄像头；多路视频处理模块；以及无人机通信模块，成像控制装置包括：头戴式显示屏，其用于显示无人机发送的图像；眼球跟踪单元，其用于跟踪使用者的虹膜的方位角和仰角变化；以及控制装置通信单元，其用于与无人机通信模块通信。

进一步地，成像控制装置还包括：头部姿态感知单元，其用于捕捉使用者头部的方位角和仰角变化；肩部姿态感知单元，其用于捕捉使用者肩部的方位角变化。

进一步地，成像控制装置还包括图像处理单元，用于将虚拟图像叠加到无人机发送的图像上，并发送给头戴式显示屏显示。

进一步地，眼球跟踪单元包括两个以上的红外线摄像头；所述头部姿态感知单元包括角加速度传感器，所述肩部姿态感知单元包括两个以上的加速度传感器。

进一步地，每个无人机摄像头在水平面上的视域小于180度，且多个无人机摄像头在水平面上的重合视域大于180度；每个无人机摄像头的视域与相邻的无人机摄像头的视域有重合。

进一步地，相邻的无人机摄像头的视域之间的重合区大于等于无人机向成像控制装置发送的图像的视域。

根据本发明的第二个方面，提供了一种基于无人机的成像方法，其用于本发明第一方面的成像系统，该方法包括以下步骤：跟踪使用者的眼球和头部的姿态；基于眼球和头部的姿态，定位头戴式显示屏的显示区在多个无人机摄像头的重合视域中的位置；将其视域位于头戴式显示屏显示区的无人机摄像头设置为高清摄像模式，其视域位于头戴式显示屏显示区以外的无人机摄像头设置为低清摄像模式；当头戴式显示屏的显示区包括多个无人摄像头的视域的重合区时，拼合所述多个摄像头拍摄的图像，并定位头戴式显示屏的显示区在拼合后的图像中的位置；将头戴式显示屏的显示区对应的图像发送到成像控制装置的头戴式显示屏。

进一步地，该方法还包括步骤：跟踪使用者的肩部姿态；基于该肩部姿态，配置无人机的飞行姿态。

根据本发明的第三个方面，提供了一种基于无人机的成像方法，其用于本发明第一方面的成像系统，该方法包括以下步骤：跟踪使用者的眼球和头部的姿态；基于眼球和头部的姿态，定位头戴式显示屏的显示区在多个无人机摄像头的重合视域中的位置；将其视域位于头戴式显示屏显示区的无人机摄像头设置为高清摄像模式，其视域位于头戴式显示屏显示区以外的无人机摄像头设置为低清摄像模式；当头戴式显示屏的显示区完全位于多个无人摄像头的视域的重合区时，基于眼球和头部姿态的运动方向切换无人机摄像头，并定位头戴式显示屏的显示区在切换后的图像中的位置；将头戴式显示屏的显示区对应的图像发送到成像控制装置的头戴式显示屏。