[发明专利]基于PYNQ和多模态脑机接口的飞行器控制系统及方法

说明书

本发明公开了一种基于PYNQ和多模态脑机接口的飞行器控制系统及方法，该系统包括：信号采集模块、处理模块、飞行器控制模块；信号采集模块包括脑电采集模块、眼电采集模块、通信模块；处理模块包括：信号预处理模块、信号解码模块、语音播报模块、无线通信模块；飞行器控制模块包括：指令生成模块、姿态传感器，通过采集用户的脑电和眼电信号，并对信号进行处理，进而能实时控制飞行器。本发明通过结合脑机接口技术和嵌入式平台，能改善传统脑机接口控制系统便携性差、功耗高、成本高、可移植性差的缺点，从而提高实用性。

技术领域

本发明涉及脑机接口和FPGA领域，具体涉及基于PYNQ和多模态脑机接口的飞行器控制系统及方法。

背景技术

随着脑科学研究的深入，脑机接口技术具有能够直接在人脑与外部设备间建立连接的特性，脑机接口控制系统已逐渐成为学术界和产业界的关注焦点，应用于医疗、教育、娱乐领域的技术正不断完善。现有的基于脑机接口的控制系统数量较少，同时存在着以下缺陷：

1、现有的脑机接口控制系统实用性较差，系统以PC机或工作站作为计算节点，应用过程中存在设备复杂、功耗大、便携性差的缺点，导致难以面向市场；

2、现有的脑机接口控制系统控制状态较少，仅使用脑电信号，忽略了其他有意义的生物电信号，导致可使用控制状态数目少；

3、现有脑机接口控制系统实时性较差，对信号处理的速度滞后，无法做到实时处理，导致控制性较差，缺少使用体验。

发明内容

本发明为了改善现有脑机接口控制系统存在的不足，提供一种基于PYNQ和多模态脑机接口的飞行器控制系统及方法，以期通过结合脑机接口技术和FPGA嵌入式平台，使用户能通过眨眼和进行运动想象来控制无人机，从而提高脑机接口控制系统的便携性和实时性；同时具有语音播报功能，能播报信号分类结果，以提高交互体验。

本发明为达到上述发明目的，采用如下技术方案：

本发明一种基于PYNQ和多模态脑机接口的飞行器控制系统的特点在于，包括：信号采集模块、处理模块、飞行器控制模块：

所述信号采集模块包括：脑电采集模块、眼电采集模块、通信模块；

所述处理模块集成在PYNQ系列FPGA上，包括：信号预处理模块、信号解码模块、语音播报模块、无线通信模块；

所述飞行器控制模块包括：指令生成模块、姿态传感器；

所述脑电采集模块用于采集大脑皮层感觉运动区域产生的原始脑电信号，并提供给通信模块；

所述眼电采集模块用于采集眨眼产生的原始肌电信号，并提供给通信模块；

所述通信模块将接收到的原始脑电信号和眨眼产生的原始肌电信号发送给处理模块；

所述信号预处理模块对所接收到的原始脑电信号和眨眼产生的原始肌电信号依次进行滤波处理、归一化处理和小波变换处理，从而得到预处理后的脑电信号和肌电信号；

所述信号解码模块包括：眨眼检测单元、脑电信号解码单元；

所述眨眼检测单元用于对预处理后的肌电信号进行眨眼情况的分类，包括：眨左眼、眨右眼、眨双眼和超时未眨眼的四种眨眼情况；

所述脑电信号解码单元包括：通用卷积神经网络加速IP、存储模块；且所述卷积层使用AXI4-Streaming接口；

所述通用卷积神经网络网络加速IP由Vivado HLS工具生成，并包括：卷积层、池化层、非线性激活层和全连接层；

所述卷积神经网络加速IP对预处理后的脑电信号进行运动想象脑电信号的分类，包括：想象左侧肢体运动的脑电信号、想象右侧肢体运动的脑电信号；