[发明专利]无人机集群编队交互式仿真验证系统及实现方法

权利要求书

1.一种无人机集群编队交互式仿真验证系统，其特征是，由五部分构成：分布式实时仿真器、宿主机、视景计算机即客户端、显示设备、人机交互设备；其中，由目标计算机组成仿真器负责运行实时仿真程序模拟无人机集群编队；宿主机运行服务器软件，负责管理仿真程序的下载与运行、在线调参、状态数据传输；视景计算机运行基于Unity开发的视景软件，并接收服务器的数据驱动，在虚拟现实VR头显和大屏幕中实时显示虚拟仿真场景；人机交互设备包括语音输入设备、手势识别设备和脑机接口设备，它们与视景计算机连接起来，并通过视景软件集成实现人机交互；进一步地，视景计算机中设置有三维场景资源模块，用于利用Unity引擎开发无人机集群编队任务场景，具体包括如下子模块。

2.如权利要求1所述的无人机集群编队交互式仿真验证系统，其特征是，

(1)三维模型库子模块：三维资源库的构建基于外部软件与Unity结合，无人机场景所需的三维模型采用3D Studio Max建模软件建立，并生成不同细节层次LOD级别的模型，在Unity中添加LOD Group组件实现模型LOD，LOD技术是一种根据视点远近来控制模型细节层次的技术；

(2)真实地形环境子模块：三维地形资源采用WM(World Machine)软件制作，基于Unity编辑器扩展功能，设计并开发地形资源构建子模块，以图形界面的形式实现分块地形自动生成；

(3)动态管理子模块：包括三维模型、地形环境的三维资源采用prefab(预设体)形式在Unity编辑器中进行打包，在整体程序流程中基于本模块实现调用、加载、卸载操作；模块实现的核心是多线程，在Unity开发环境中，多线程的实现表现为Coroutine(协程)与异步方法的使用。

3.如权利要求2所述的无人机集群编队交互式仿真验证系统，其特征是，人机交互模块实现为用户提供人机交互功能，构建三维图形化的用户接口UI界面，将VR头显设备与手势识别设备集成到客户端的软硬件环境下，在Untiy中实现对底层设备接口与交互指令的封装，具体包括如下子模块：

(1)三维UI子模块：Hovercast是一个虚拟现实环境下的菜单式图形界面库，它可以与VR头显、手势交互设备很好地结合，并且支持Unity环境下开发，Unity自带的UGUI界面库也提供了许多基础元素，基于Unity自带的UGUI界面库、Hovercast二者结合方式设计VR交互界面，使得用户可以通过VR头显与手势交互设备参与到虚拟仿真进程中；

(2)VR头显集成：采用HTC Vive虚拟现实头显设备通过USB方式实现与视景计算机的数据连接，软件方面提供了Unity环境下的开发插件SteamVR Unity Plugin，基于Unity良好的跨平台特性；

(3)手势交互子模块：使用Leap Motion作为用户手势交互输入设备，Leap Motion是一款便携式的手势识别设备，Leap Motion提供的Orion SDK支持Unity环境开发，能够实现各种手部动作的识别，本模块根据UI界面功能设计手势交互指令，基于Orion底层识别接口进行封装，形成可复用的二次开发接口，也方便三维UI子模块的调用；

(4)语音控制子模块：基于百度语音REST API实现用户与应用程序的语音交互，通过该模块集成在线语音识别功能，平台使用者可以模拟对无人机的语音控制和指挥；

(5)脑机接口子模块：采用的BCI属于EEG类型，设备采集脑电信号并交付matlab数据分析平台进行处理，将处理后的结果通过UDP(用户数据报协议)通信协议传输给视景应用，实现脑控飞行模拟，脑机接口模块用于实现SSVEP(稳态视觉诱发电位)和运动想象两种范式，SSVEP原理是当受到一个固定频率的视觉刺激时，人的大脑视觉皮层会产生一个连续的与刺激频率有关的响应，通过采集该响应并与响应频率刺激信号相匹配来识别人脑所传递的信息；本模块在视景应用中构建一个包含不同频闪数字的SSVEP刺激界面，并将各数字对应于不同的控制指令，从而实现脑控飞行模拟。