[发明专利]一种多模态非植入式脑机接口技术支撑下的人机交互方法

说明书

技术领域

本发明属于多模态脑机接口技术领域，涉及一种多模态非植入式脑机接口技术支撑下的人机交互方法。

背景技术

脑机接口研究脑与外界的直接信息交流，在获悉人脑信息表达的基础上，建立新的革命性的信息与通讯手段，其最初和最主要的研究动机是为神经和运动疾病患者提供辅助康复和生活自理的手段。然而随着这种技术逐渐步入成熟阶段，以基本脑机接口系统为原型，拓展出多种针对更加特性化应用需求的新兴范式。同时，将人机交互理念更大程度的融入脑机接口系统设计，让这种独立于骨骼、肌肉等生理组织的脑信息使用方式超出可行性测试范畴，逐步证明了其在现实环境中的应用前景。

交互方式灵活、多样、简捷的人机系统，可以有效提高使用者的参与积极性和使用效率。脑机接口作为一种以辅助康复为初衷的人机系统，除帮助病患完善基本生活技能外，同样应在满足病患娱乐、文化等精神需求上做出努力，做到生理和心理的双重辅助。基于脑机接口技术的游戏系统是近年来兴起的一项实用类研究，主要面向健康人群。这样圈定消费群体，除了看中健康人群数量巨大所蕴含的商业潜质，更有可能是源于这类系统目前尚存在控制形式单一、固定化的问题，无法满足残疾人的需要。

目前按照动作-反应交互形式可以将游戏脑机接口系统分为三类。 “精神状态调整”类型，即在区分放松和集中注意力两种脑状态的基础上生成控制命令，出现在让玩家利用意念移动物体等游戏形式中。“诱发反应生成”类，利用稳态视觉诱发电位(SSVEP)的产生机理，完成虚拟目标运动方向控制，如强/弱SSVEP分别控制虚拟飞机向左/右飞行。据研究稳态视觉诱发刺激可以提高人的注意力，所以SSVEP同样适用于注意力提升类游戏的开发。“运动想象”类，使用者利用想象不同肢体部位运动，自发产生各种脑电状态，并转变为外部输出命令，用于目标导航或选择命令。为使用者制造一种直观感受就是被控目标以某种形式，即时响应其意识状态，形成较为真实的操控感。并且得益于运动想象模式的快速识别，形式上更适合于快速响应类游戏，如虚拟驾驶、轮椅移动控制。然而，由于游戏使用者完成运动想象自发电位生成的能力限制，使得系统输出的控制命令数量有限，无法体验更丰富的游戏内容。常用的弥补方式是引入其他的非脑控命令，如语音、手动按钮，这种方法不仅会给脑电信号带入大量的伪迹干扰，更不符合为本身就缺少运动能力的残疾人服务的理念。

发明内容

本发明的目的在于克服上述现有技术的缺点，提供了一种多模态非植入式脑机接口技术支撑下的人机交互方法，该方法可以实现非植入式脑机接口的复杂命令输出，并且对外接设备的控制能力强。

为达到上述目的，本发明所述的多模态非植入式脑机接口技术支撑下的人机交互方法，其特征在于，包括以下步骤：

1)用户根据提示信号进行所有运动想象及所有眼睛运动，采集用户 的EOG信号及EEG信号，然后对所述EOG信号及EEG信号分别依次进行放大及数模转换；

2)存储步骤1)得到的EOG信号及EEG信号，并对EOG信号及EEG信号分别进行预处理；

3)根据步骤2)得到的EEG信号确定针对用户的特征导联和特征节律，再采用共空间模式算法从用户的特征导联和特征节律提取脑电空间特征，并训练共空间模式特征提取滤波器，然后采用小世界神经网络算法对提取的脑电空间特征进行运动想象分类，得分类结果，然后根据分类结果训练获得运动想象模式分类器；

4)对步骤2)得到的EOG信号中的水平EOG信号及垂直EOG信号进行中值滤波去噪，消除EOG信号中垂直EOG信号内的无意识眨眼信号，并对EOG信号中的垂直EOG信号进行有意识单眨眼分量及双眨眼分量的提取分离，得眨眼模式识别结果；

5)控制外接设备时，用户根据提示信号进行相应运动想象及眼睛运动，采集用户当前的EOG信号及EEG信号，并对用户当前的EOG信号及EEG信号分别依次进行放大及数模转换，再对用户当前的EOG信号及用户当前的EEG信号分别进行预处理；

6)通过用户的特征导联和特征节律筛选出用户当前EEG信号的频带分量，再通过共空间模式特征提取滤波器对用户当前EEG信号的频带分量进行空间特征提取，并根据所述空间特征通过小世界神经网络分类器进行模式判别，得到用户当前EEG信号的识别结果，然后根据用户当前EEG信号的识别结果对电脑进行控制；同时，对用户当前的EOG信号进 行峰值分析，得用户当前EOG信号的识别结果，然后根据用户当前EOG信号的识别结果对电脑进行控制。

步骤1)中所述所有运动想象包括左手运动想象、右手运动想象、双脚运动想象及舌部运动想象；