[发明专利]一种基于云平台的多模态轮椅脑控系统及方法

权利要求书

1.一种基于云平台的多模态轮椅脑控系统，其特征在于，包括视觉刺激器、Neurosky脑波芯片、语音采集模块、FPGA处理器、MYSQL服务器、蓝牙芯片、DAC芯片、移动终端、轮椅驱动控制器；

所述Neurosky脑波芯片连接有五个分别用于采集人脑的枕叶区、顶叶区、侧叶区以及耳垂区的脑电信号的电位的电极，枕叶区的电极用于采集人脑产生的视觉诱发脑电信号的电位，侧叶区的电极用于采集人脑的运动想像脑电信号的电位，Neurosky脑波芯片通过蓝牙芯片与FPGA处理器连接，将采集的视觉诱发脑电信号的电位和运动想像脑电信号的电位发送至FPGA处理器；

所述视觉刺激器用于通过人眼将刺激信号传输给人脑，人脑产生与刺激信号相对应的视觉诱发脑电信号；

所述语音采集模块的输出端通过总线与FPGA处理器连接，用于接收语音信号并向FPGA处理器发送对轮椅的控制指令；

所述FPGA处理器通过GSM模块与MYSQL服务器连接进行通信，所述移动终端通过WiFi或4G网络与MYSQL服务器连接进行通信；所述FPGA处理器用于分析处理采集的视觉诱发脑电信号的电位和运动想像脑电信号的电位以及语音采集模块采集的信号，并将其转化为对轮椅的控制指令，并监测轮椅驱动控制器的运行状态信息，将监测的运行数据发送至MYSQL服务器；

所述轮椅驱动控制器通过DAC芯片和蓝牙芯片依次与FPGA处理器连接，用于接收FPGA处理器分析和处理后的对轮椅的控制指令经过DAC芯片转换输出对轮椅的控制电压，所述轮椅驱动控制器连接轮椅驱动装置，用于接收对轮椅的控制电压进而控制轮椅驱动装置动作。

2.根据权利要求1所述的基于云平台的多模态轮椅脑控系统，其特征在于：所述移动终端为手机或平板电脑。

3.一种如权利要求1所述的基于云平台的多模态轮椅脑控的方法，其特征在于，包含三种模态实现对轮椅的控制，具体如下：

第一种模态是运动想像控制：使用Neurosky脑波芯片对人脑的左、右侧叶区进行人脑的运动想像脑电信号的电位的采集，主要采集对象为8HZ-12HZ的μ节律波，通过蓝牙芯片传输给FPGA处理器，当人体进行左腿运动想像时，FPGA处理器采取短时快速傅里叶变换SFFT算法提取人脑的侧叶区的MU节律能量幅值，通过已确定的被激励的μ节律能量幅值激励上限a，未被激励时的下限b，FPGA处理器采用SVM算法对提取的能量幅值M进行判断，如果a≤M≤b或者M≤b，则将结果判定为A类，即使用者此刻进行无意识想像或没有进行左腿运动想像，FPGA处理器不会向轮椅驱动控制器发送控制指令；如果M≥a，则判定为B类，当左侧叶区电位处于A类，右侧叶区电位处于B类，则判定使用者正在进行有意识左腿运动想像，FPGA处理器对轮椅进行启停控制；

第二种模态是稳态视觉诱发控制：通过人眼盯视视觉刺激器，通过人眼将刺激信号传输给人脑枕叶区，刺激信号经过大脑的加工处理后，Neurosky脑波芯片采集在人脑的枕叶区产生与刺激信号在频率上相对应的视觉诱发脑电信号的电位，通过蓝牙芯片传输给FPGA处理器上，由FPGA处理器对视觉诱发脑电信号的电位进行短时快速傅里叶变换SFFT，在频域中幅值最高的频率点所对应的频率值就是所盯视的视觉刺激块所对应的频率，将频率值转换为轮椅运动的控制指令后，再把控制指令转换成相应的电平信号，该电平信号经过DAC转换就可以直接输出轮椅的控制电压，轮椅驱动控制器接收对轮椅的控制电压进而控制轮椅驱动装置动作；

第三种模态是语音控制：通过语音采集模块发出对FPGA处理器发出对轮椅的控制指令，FPGA处理器采用20ms时间窗对语音信号进行分帧处理，利用HMM算法，对每一个时间窗中的不同时刻之间的状，态转移概率进行观察，得到每一个时间窗中的观察向量{O1，O2,.....ON}，利用DNN神经网络对于这些观察向量进行识别，得出每个时间窗内的对轮椅的控制指令，且采取二级触发机制，即一级指令与二级指令的识别结果全部正确，才会触发控制控制指令；

在三种模态控制中，通过MYSQL服务器对轮椅使用者的脑电数据和轮椅的运行状况进行监测，FPGA处理器通过串口搭载GSM模块，通过4G网络或者WIFI的形式将数据上传至服务器，使用者登录利用JSP+HTML+CSS自主开发的网页，进行远程监测轮椅以及使用者状况。

4.根据权利要求3所述的基于云平台的多模态轮椅脑控的方法，其特征在于：所述FPGA处理器将对轮椅的控制指令进行分析和处理的方法为：通过配置FPGA处理器的快速傅氏变换FFT算法的IP核，实现信号分析和处理，其中Transform length设置为512点，IP核原理图，CLK为FFT IP Core的系统时钟，reset_n为高电平复位信号，sink_real[17:0]为输入数据实部，souurce为数据输出；FPGA处理器经过DAC芯片转换输出对轮椅的控制电压的方法为：对轮椅的控制指令在经过FPGA处理器之后，FPGA处理器将频率值转换成“3”、“4”、“5”、“7”十六进制数后，采用DAC芯片根据轮椅的动作电压，计算出与之对应的数字量化关系：Vo(DAC A|B|C|D)＝REF*CODE/256*(1+RNG bit value)，其中，Vo为对轮椅的控制电压，REF为DAC的输出参考电压，CODE为输出电压值的数字量，RNG为电压倍增模式，RNG为0表示关闭输出倍增模式，RNG为1表示打开输出电压倍增模式。