[发明专利]基于空间和语义一致的视听觉脑机接口拼写系统及其方法

说明书

本发明涉及一种基于空间和语义一致的视听觉脑机接口拼写系统及其方法，在拼写系统中，视听觉刺激装置采用基于空间和语义一致的视听觉实验范式对被试者产生关于目标字符的视觉和听觉刺激；脑电信号采集装置采集被试者的脑电信号；计算机对脑电信号数据进行数据预处理，得到预处理后的脑电信号数据；计算机对预处理后的脑电信号数据进行特征提取与分类，得到分类结果，并将分类结果发送至输出显示设备。本发明通过将视觉刺激和听觉刺激的空间特征和语义特征相结合，实现视听觉双模态刺激的空间和语义一致性，相比于单一的视觉刺激或者听觉刺激，能够诱发更大幅度的ERPs，从而提高脑机接口的性能。

技术领域

本发明涉及脑机接口技术领域，特别是涉及一种基于空间和语义一致的视听觉脑机接口拼写系统及其方法。

背景技术

脑机接口是一种新型的大脑和计算机之间直接交互的系统，它为肌萎缩患者(特别是肌萎缩性脊髓侧索硬化症患者)在大脑和外界设备之间建立一条直接的通信交流通道。目前常见的脑机接口系统是在头皮记录有关事件相关电位(Event-relatedPotentials，ERPs)的脑电信号，通过分析脑电信号，识别命令或输出字符。基于P300的拼写器就是一种基于oddball事件相关电位的字符拼写系统。现有的基于P300的拼写系统主要有以下几种：基于视觉的、基于听觉的和基于触觉的，虽然基于视觉的P300字符拼写系统性能要远优于基于听觉和基于触觉的P300字符拼写系统，但是基于视觉的P300字符拼写系统性能还不能令人满意，还有待提高，而且基于视觉的P300字符拼写系统对于眼睛肌肉控制受损或随时间退化的患者有一定的局限性，因此，提出一个性能优于视觉P300字符拼写系统且具有通用性的视听双模态的P300字符拼写系统具有很重要的意义。

发明内容

基于此，有必要针对目前的基于视觉的脑机接口性能并不能令人满意，而且基于视觉的脑机接口拼写系统对眼睛肌肉控制可能受损或随时间退化的患者有局限的问题，提供一种基于空间和语义一致的视听觉脑机接口拼写系统及其方法，该基于空间和语义一致的视听觉脑机接口拼写系统既可以提高基于视觉的脑机接口拼写系统的性能，又可以提高其通用性(既适用于听觉受限的患者，又适用于视觉受限的患者)。有研究显示视觉刺激和听觉刺激的空间和语义一致性会影响视听双模态刺激的整合效应，即会诱发幅度增加的ERPs波形，本发明提出将空间和语义一致的视听觉刺激应用于P300字符拼写器构建一个视听双模态的字符拼写系统，既可以提高基于视觉的P300字符拼写系统的性能，又可以提高基于视觉的P300字符拼写系统的通用性。

为解决上述问题，本发明采取如下的技术方案：

一种基于空间和语义一致的视听觉脑机接口拼写系统，该系统包括视听觉刺激装置、脑电信号采集装置和计算机；

所述视听觉刺激装置采用基于空间和语义一致的视听觉实验范式对被试者产生关于目标字符的视觉和听觉刺激；

所述脑电信号采集装置采集被试者的脑电信号，并将采集到的脑电信号数据发送至所述计算机；

所述计算机对所述脑电信号数据进行数据预处理，得到预处理后的脑电信号数据；

所述计算机对所述预处理后的脑电信号数据进行特征提取与分类，得到分类结果，并将所述分类结果发送至输出显示设备，所述输出显示设备用于输出字符。

相应地，本发明还提出一种基于空间和语义一致的视听觉脑机接口拼写方法，该方法包括以下步骤：

采用基于空间和语义一致的视听觉实验范式对被试者产生关于目标字符的视觉和听觉刺激；

采集被试者的脑电信号，得到脑电信号数据；

对所述脑电信号数据进行数据预处理，得到预处理后的脑电信号数据；

对所述预处理后的脑电信号数据进行特征提取与分类，得到分类结果，并将所述分类结果发送至输出显示设备，所述输出显示设备用于输出字符。