[发明专利]一种脑机接口智能设备控制系统与方法

权利要求书

1.一种脑机接口智能设备控制系统，其特征在于，包括：摄像头、增强现实刺激设备、眼动仪、场景理解模块、脑电采集设备、脑电处理模块、结果整合模块、中控模块以及外设控制系统；

所述摄像头安装在所述增强现实刺激设备上，并通过USB接口将实时采集环境图像发送至所述增强现实刺激设备；

所述增强现实刺激设备与所述场景理解模块连接；并将实时采集环境图像发送至所述场景理解模块；所述场景理解模块采用深度学习技术对实时采集环境图像进行分类，并将图像分类结果发送至增强现实刺激设备中的增强现实显示设备和所述结果整合模块；

所述眼动仪设置在所述增强现实显示设备的内部，并与脑电处理模块连接；所述眼动仪用于实时获取使用者的目光注视位置；

所述脑电采集设备与所述脑电处理模块连接；所述脑电处理模块根据所述脑电采集设备中采集的脑电信号矩阵，采用异步SSVEP脑电信号判决算法，确定实时脑电信号的分类结果，并将实时脑电信号的分类结果发送至结果整合模块；实时脑电信号的分类结果为使用者枕叶区诱发的信号频率；

所述结果整合模块根据图像分类结果和实时脑电信号的分类结果共同进行用户选定目标的确定，并将选定结果发送至所述中控模块；

所述中控模块根据选定结果确定操作指令，并将操作指令发送至所述外设控制系统；

所述外设控制系统根据操作指令进行对智能设备的控制。

2.根据权利要求1所述的一种脑机接口智能设备控制系统，其特征在于，所述增强现实刺激设备通过OpenCV工具包将实时采集环境图像转化为1280×720×3的图片矩阵。

3.根据权利要求1所述的一种脑机接口智能设备控制系统，其特征在于，所述增强现实显示设备的PC机为AR眼镜。

4.根据权利要求1所述的一种脑机接口智能设备控制系统，其特征在于，所述脑电采集设备以1000Hz的采样率，按照10-20国际标准采集脑电信号。

5.一种脑机接口智能设备控制方法，其特征在于，包括：

利用摄像头对场景进行采集，并将实时采集环境图像发送至增强现实刺激设备；

增强现实刺激设备将实时采集环境图像发送至场景理解模块，场景理解模块采用深度学习技术对实时采集环境图像进行分类，并将图像分类结果发送至增强现实刺激设备中的增强现实显示设备和结果整合模块；

脑电处理模块根据眼动仪实时获取使用者的目光注视位置和脑电采集设备中采集的脑电信号矩阵，采用异步SSVEP脑电信号判决算法，确定实时脑电信号的分类结果，并将实时脑电信号的分类结果发送至结果整合模块；

结果整合模块根据图像分类结果和实时脑电信号的分类结果共同进行用户操作目标的确定，并将确定结果发送至中控模块；

中控模块根据确定结果确定操作指令，并将操作指令发送至外设控制系统；

外设控制系统根据操作指令进行对智能设备的控制。

6.根据权利要求5所述的一种脑机接口智能设备控制方法，其特征在于，所述增强现实刺激设备将实时采集环境图像发送至场景理解模块，场景理解模块采用深度学习技术对实时采集环境图像进行分类，并将图像分类结果发送至增强现实刺激设备中的增强现实显示设备和结果整合模块，具体包括：

增强现实刺激设备将实时采集环境图像以视频流的形式传输至场景理解模块；

场景理解模块将视频流按帧划分，并逐帧对场景进行目标检测；

当确认存在操作目标之后，场景理解模块为目标分配刺激属性，并与增强现实显示设备和结果整合模块通信。

7.根据权利要求5所述的一种脑机接口智能设备控制方法，其特征在于，所述脑电处理模块根据眼动仪实时获取使用者的目光注视位置和脑电采集设备中采集的脑电信号矩阵，采用异步SSVEP脑电信号判决算法，确定实时脑电信号的分类结果，并将实时脑电信号的分类结果发送至结果整合模块，具体包括：

判断使用者的目光注视位置是否在判决目标热点范围内；

若在判决目标热点范围外，则增强现实刺激设备将通知脑电处理模块停止实时脑电信号的分类结果的计算。

8.根据权利要求5所述的一种脑机接口智能设备控制方法，其特征在于，所述脑电采集设备以1000Hz的采样率，按照10-20国际标准采集脑电信号。