[发明专利]一种基于多模态脑机交互技术的虚拟沙盘交互控制系统

说明书

本发明公开了一种基于多模态脑机交互技术的虚拟沙盘交互控制系统。该系统包括脑电模块、肌电模块、眼动模块、控制模块和显示模块，所述控制模块分别连接脑电模块、肌电模块、眼动模块、显示模块，所述脑电模块连接肌电模块。脑电模块将用户注视叠加在虚拟沙盘控制菜单上并将控制命令发送给控制模块，肌电模块将连续控制指令发送至控制模块，眼动模块将用户注视方向坐标发送至控制模块，控制模块将数字沙盘更新内容发送至显示模块，显示模块显示虚拟沙盘和用户视线注视点，并在虚拟沙盘控制菜单上叠加不同频率编码的定频视觉刺激。本发明基于脑‑机接口与眼动仪相结合的多模态脑机交互方法实现控制菜单的功能键选择，目标选择性能更加稳定，适用于多种应用场景。

技术领域

本发明主要涉及到脑-机接口与虚拟现实技术领域，特别涉及一种基于多模态脑机交互技术的虚拟沙盘控制系统。

背景技术

沙盘模型是按特定比例尺度对一定空间区域内地形、地貌、地物的缩放直观表达，被广泛应用于城市规划设计、环境治理、建筑设计和农业规划等多个领域，用来展现其独特的区位特点。随着相关技术的成熟，沙盘也向着功能多样化、智能化、个性化的方向发展。其中，虚拟沙盘是一种利用电子地图可视化和三维虚拟仿真技术构建的沉浸式地理空间交互呈现系统。相比于传统的沙盘模型，虚拟沙盘可以实现地物与人实时联动交互，电子地图多样化显示，三维场景影像多角度浏览，更具真实性、准确性、动态性和便捷性等优势。由于虚拟现实技术的介入，传统的按键、鼠标等交互方式在虚拟沙盘的操控中并不适应。目前，虚拟沙盘通常通过头动和手势等方式进行控制，交互效率较低，大大影响其系统性能和用户体验。

脑-机接口技术可以直接通过检测大脑神经活动来识别人的意图，并将其转换成计算机控制指令，从而实现人脑对外部设备操作控制，是一种新型的人机交互控制技术。自从20世纪70年代被提出以来，随着相关学科的快速发展，脑-机接口的技术和理论研究已经取得了长足的进展，并已经在医疗康复、装备研发、娱乐游戏等领域有着广泛的应用前景，其重要的科学研究价值和广泛的应用前景受到国内外学者和高科技公司的广泛关注。近年来，基于稳态视觉诱发电位(Steady-state Visually Evoked Potential,SSVEP)的脑-机接口技术已经达到了较高水平，并已用于字符输入、网页浏览，以及机械臂和轮椅控制等脑控技术的研究。其中，SSVEP通过施加定频闪烁的视觉刺激诱发产生。在刺激过程中，用户通过注视以某特定频率闪烁的字符模块，使其头部枕区(初级视皮层)脑电信号产生与刺激频率相对应的特征电位。系统通过对脑电信号频域成分的辨识来反推出视觉刺激的频率，进而确定用户所注视的目标位置。虽然基于SSVEP的脑-机接口技术研究已经取得了一定的突破，但是由于可选命令数和刺激所致视觉疲劳的限制，极大地制约了其在实际系统中的应用。

在对传统通信控制系统的研究中，我们不难发现对多模态互补信息的合理利用往往可以实现系统综合性能的明显提升。Pfurtscheller和Allison等人于2010年首次提出了一种新的脑-机接口研究方法与路线，称之为多模态脑机交互技术。多模态脑机交互技术理论为人机交互技术的研究提供了一种新的思路。随后，Allison等人将人体非脑源生理信号(如肌电信号)以及微动作信号(如眼动信号)引入到了多模态脑机交互的定义中，形成了广义的多模态脑机交互理论。

为了研制可用于实际应用环境中的虚拟沙盘交互控制系统，达到系统舒适可靠的实用化标准，亟需发展新的人机交互技术。据我们所知，至今还未见基于多模态脑机交互技术的虚拟沙盘交互控制方法的相关报道。

发明内容

针对现有技术存在的技术问题，本发明提供一种结构简单、操作简便、可提高操控速度并能够提高操控可靠性、精确性的基于多模态脑机交互技术的虚拟沙盘交互控制系统。

一种基于多模态脑机交互技术的虚拟沙盘交互控制系统，包括脑电模块、肌电模块、眼动模块、控制模块和显示模块，控制模块分别连接脑电模块、肌电模块、眼动模块、显示模块。