[发明专利]一种多模态无人机人机交互操控半实物仿真系统及方法

摘要

本发明公开了一种多模态无人机人机交互操控半实物仿真系统，包括：机载处理器，其搭载在无人机上；手势识别设备和脑电信号测量设备，其通过串口通讯模块与转接模块连接，转接模块与机载处理器连接；遥控器，其通过PPM接口与机载处理器连接；仿真上位机，其上搭载AirSim模拟器，并通过串口通讯模块与机载处理器连接；地面控制站，其通过串口通讯模块与机载处理器连接，并通过UDP协议与仿真上位机连接。本发明还公开了一种多模态无人机人机交互操控半实物仿真方法。本发明的有益效果：实现多种模态控制下的脑电和手势控制以及遥控器控制无人机飞行过程的仿真，也可实现地面控制站控制无人机飞行过程的仿真。

主权项

1.一种多模态无人机人机交互操控半实物仿真系统，其特征在于，包括：机载处理器，其搭载在无人机上，用于接收手势识别设备、脑电信号测量设备和遥控接收器发送的控制指令，以及地面控制站下发的特性控制指令，按照相应的控制指令或特定控制指令控制无人机，并将控制指令通过串口通讯模块传输至地面控制站和仿真上位机；手势识别设备，其通过串口通讯模块与转接模块输入端连接，所述转接模块输出端与所述机载处理器通信连接，用于将采集到的手势信号融合处理后转换成对无人机的控制指令，并将控制指令传递给所述机载处理器；脑电信号测量设备，其通过串口通讯模块与转接模块输入端连接，所述转接模块输出端与所述机载处理器通信连接，用于将采集到的脑电信号分类处理后转换成对无人机的控制指令，并将控制指令传递给所述机载处理器；遥控器，其通过PPM接口与所述机载处理器通信连接，用于将所述遥控器的控制指令传递给所述机载处理器；仿真上位机，其上搭载有AirSim模拟器，并通过串口通讯模块与所述机载处理器通信连接，用于接收所述机载处理器的控制指令和所述地面控制站传输的特定控制指令，根据控制指令或特定控制指令建立无人机飞行的仿真模型、设置仿真参数，对无人机进行飞行模拟，并显示控制无人机飞行过程的仿真界面；地面控制站，其通过串口通讯模块与所述机载处理器通信连接，并通过UDP协议与所述仿真上位机通信连接，用于接收所述机载处理器传输的无人机控制指令，可根据需求下发特定控制指令至所述机载处理器，并将特定控制指令传输至所述仿真上位机。