[发明专利]一种脑机接口智能设备控制系统与方法

说明书

本发明涉及一种脑机接口智能设备控制系统与方法。该系统中增强现实设备上安装的摄像头可以通过实时采集环境图像，并将图像传输至场景理解模块，该模块可以通过采用深度学习技术实现对场景信息的理解，并将理解信息传输至增强现实显示设备，现实显示设备内置的眼动仪可以实时获取使用者的目光注视位置，其结合SSVEP范式进行场景中目标的操作，然后向操作目标发送控制或者获取信息指令，并向增强现实设备进行反馈，充分发挥了脑机接口与增强现实技术的结合可带来认知、视觉、感知等能力的增强，实现了瘫痪病人直观高效的控制外部设备的解决方案。

技术领域

本发明涉及脑机接口技术领域，特别是涉及一种脑机接口智能设备控制系统与方法。

背景技术

脑机接口(Brain Computer Interface，BCI)是一种在人或者动物大脑与外部设备之间建立的直连通路的技术。其作为当今神经工程方向最有生命力的研究方向之一，在康复医学、智能机器人等领域也拥有重要的研究意义和巨大的应用潜力。尤其是最近十年来，脑机接口技术在材料和生物科学的发展下得到了长足的进步，逐渐打开了广阔的应用场景。比如在医疗与康复领域，其对于神经系统受损患者具有重大帮助；在军事领域上可以用于脑电信息融合协同作战；在教育领域可以帮助学生训练集中力等等。

截至现在，国内外实验室开发过各式各样面向日常应用的脑机接口系统。其使用了不同的刺激范式并实现了不同的功能。比如基于稳态视觉诱发电位(SSVEP)脑机接口打字系统、基于多范式的脑机接口VR游戏系统、基于P300范式的脑机接口虚拟智能家居控制系统。

上述的应用均实现了脑机接口对外部设备或者虚拟设备的控制，并取得了一定的成效。但是直接通过电脑屏幕控制其他设备这一方式不够直观，不能很好地提高瘫痪病人的生活质量。故应结合增强现实(Augmented Reality，AR)技术，一是可以提高脑机接口操控的直观程度，二是解决了AR设备必须靠手部动作才能实现与外界交互导致其对残疾人易用性不佳这一难题。但其使用时对信号进行结果识别地速度比较慢，使用体验不佳。

而眼动仪也已经在一定程度上能够像瘫痪病人提供控制外部设备地能力，其较高地识别速度对于帮助残疾患者控制外设能够起到很大帮助，但其较差地识别精度及其需要经常校准的特性，会使得使用者的体验会大打折扣，故其易用性一直受到质疑。

因此，如何提高脑机接口智能设备控制的精确度和识别速率是亟待解决的问题。

发明内容

本发明的目的是提供一种脑机接口智能设备控制系统与方法，能够提高脑机接口智能设备控制的精确度和识别速率。

为实现上述目的，本发明提供了如下方案：

一种脑机接口智能设备控制系统，包括：摄像头、增强现实刺激设备、眼动仪、场景理解模块、脑电采集设备、脑电处理模块、结果整合模块、中控模块以及外设控制系统；

所述摄像头安装在所述增强现实刺激设备上，并通过USB接口将实时采集环境图像发送至所述增强现实刺激设备；

所述增强现实刺激设备与所述场景理解模块连接；并将实时采集环境图像发送至所述场景理解模块；所述场景理解模块采用深度学习技术对实时采集环境图像进行分类，并将图像分类结果发送至增强现实刺激设备中的增强现实显示设备和所述结果整合模块；

所述眼动仪设置在所述增强现实显示设备的内部，并与脑电处理模块连接；所述眼动仪用于实时获取使用者的目光注视位置；

所述脑电采集设备与所述脑电处理模块连接；所述脑电处理模块根据所述脑电采集设备中采集的脑电信号矩阵，采用异步SSVEP脑电信号判决算法，确定实时脑电信号的分类结果，并将实时脑电信号的分类结果发送至结果整合模块；实时脑电信号的分类结果为使用者枕叶区诱发的信号频率；

所述结果整合模块根据图像分类结果和实时脑电信号的分类结果共同进行用户选定目标的确定，并将选定结果发送至所述中控模块；