[发明专利]基于PYNQ和多模态脑机接口的飞行器控制系统及方法

权利要求书

1.一种基于PYNQ和多模态脑机接口的飞行器控制系统，其特征在于，包括：信号采集模块、处理模块、飞行器控制模块：

所述信号采集模块包括：脑电采集模块、眼电采集模块、通信模块；

所述处理模块集成在PYNQ系列FPGA上，包括：信号预处理模块、信号解码模块、语音播报模块、无线通信模块；

所述飞行器控制模块包括：指令生成模块、姿态传感器；

所述脑电采集模块用于采集大脑皮层感觉运动区域产生的原始脑电信号，并提供给通信模块；

所述眼电采集模块用于采集眨眼产生的原始肌电信号，并提供给通信模块；

所述通信模块将接收到的原始脑电信号和眨眼产生的原始肌电信号发送给处理模块；

所述信号预处理模块对所接收到的原始脑电信号和眨眼产生的原始肌电信号依次进行滤波处理、归一化处理和小波变换处理，从而得到预处理后的脑电信号和肌电信号；

所述信号解码模块包括：眨眼检测单元、脑电信号解码单元；

所述眨眼检测单元用于对预处理后的肌电信号进行眨眼情况的分类，包括：眨左眼、眨右眼、眨双眼和超时未眨眼的四种眨眼情况；

所述脑电信号解码单元包括：通用卷积神经网络加速IP、存储模块；且所述卷积层使用AXI4-Streaming接口；

所述通用卷积神经网络网络加速IP由Vivado HLS工具生成，并包括：卷积层、池化层、非线性激活层和全连接层；

所述卷积神经网络加速IP对预处理后的脑电信号进行运动想象脑电信号的分类，包括：想象左侧肢体运动的脑电信号、想象右侧肢体运动的脑电信号；

所述存储模块包括：DMA单元、DDR单元；

所述DMA单元用于提供数据缓冲；

DDR单元用于储存脑电信号和眨眼产生的肌电信号的分类结果；

所述语音播报模块通过串口与处理模块相连接，并根据信号解码模块得到的分类结果进行语音播报；

所述无线通信模块包括：USB WiFi、USB蓝牙；

所述USB WiFi用于建立信号采集模块和处理模块之间的通信，使处理模块能接收到来自信号采集模块发送的原始脑电信号和肌电信号；

所述USB蓝牙用于建立处理模块和飞行器控制模块之间的通信，使信号解码模块的分类结果能发送至飞行器控制模块中的指令生成模块；

所述指令生成模块用于将信号解码模块得到的分类结果转换为对应的飞行器控制指令，包括：眨双眼对应于起飞的控制指令、眨左眼对应于左转90度的控制指令、眨右眼对应于右转90度的控制指令、超时未眨眼对应于降落的控制指令、想象左对应于上升的控制指令、想象右对应于下降的控制指令，并将飞行器控制指令发送至姿态传感器；

所述姿态传感器根据飞行器控制指令控制飞行器的飞行姿态。

2.一种基于PYNQ和多模态脑机接口的飞行器控制方法，其特征在于是应用于由信号采集模块、处理模块、飞行器控制模块所组成的系统中；

所述信号采集模块包括：脑电采集模块、眼电采集模块、通信模块；

所述处理模块集成在PYNQ系列FPGA上，包括：信号预处理模块、信号解码模块、语音播报模块、无线通信模块；

所述脑电信号解码单元包括：通用卷积神经网络加速IP、存储模块；

所述飞行器控制模块包括：指令生成模块、姿态传感器；

所述信号解码模块包括：眨眼检测单元、脑电信号解码单元；

所述无线通信模块包括：USB WiFi、USB蓝牙；

所述飞行器控制方法包括以下步骤：

步骤1：处理模块上电，将语音播报模块和无线通信模块分别与处理模块连接；

步骤2：用户佩戴脑电采集模块、眼电采集模块，并分别用于获取原始脑电信号和眨眼产生的原始肌电信号；

步骤3：所述通信模块将原始脑电信号和原始肌电信号通过USB WiFi发送至处理模块；

步骤4、所述信号预处理模块对所接收到的原始脑电信号和原始肌电信号依次进行滤波处理、归一化处理和小波变换处理，从而得到预处理后的脑电信号和肌电信号；

步骤5：所述眨眼检测单元对预处理后的肌电信号进行眨眼情况的分类，包括：眨左眼、眨右眼、眨双眼和超时未眨眼四种眨眼情况；

所述脑电信号解码单元使用卷积神经网络加速IP对预处理后的脑电信号进行运动想象情况的分类，包括：想象左侧肢体运动和想象右侧肢体运动；

步骤6：所述处理模块通过串口通信的方式调用语音播报模块，用于对信号解码模块的分类结果进行播报，同时将分类结果通过USB蓝牙发送至指令生成模块；

步骤7：所述指令生成模块将分类结果转换为对应的飞行器控制指令，包括：眨双眼对应于起飞的控制指令、眨左眼对应于左转90度的控制指令、眨右眼对应于右转90度的控制指令、超时未眨眼对应于降落的控制指令、想象左对应于上升的控制指令、想象右对应于下降的控制指令，并将飞行器控制指令发送至姿态传感器；

步骤8：所述姿态传感器根据控制指令控制飞行器完成对应动作，并在执行完当前控制指令后等待下一条控制指令到来前，保持悬停状态。