[发明专利]一种基于DIVA模型的汉语脑机接口实现方法

说明书

技术领域

本发明公开了一种基于DIVA模型的汉语脑机接口实现方法，涉及脑电信号处理技术领域。

背景技术

将大脑中的思维过程“阅读"出来,这一直是人类的一个梦想。波士顿大学语音实验室的弗兰克·冈瑟教授(Guenther.F.H.)提出的DIVA(Directions Into Velocities of Articulators)自适应神经网络模型帮助人们实现了这一梦想。DIVA模型的主要目的是为了探讨人类产生语音时的生理机制。通过神经传导机制控制发音器官的模型发出声音，并通过感觉系统来调整目标误差。DIVA模型中中包含了馈控制系统(feedforward control system)，由语音映射集(speech sound map)传出语音信号控制发音器官的动作而产生语音；另一种为反馈控制系统(feedback control system)，通过听觉区及体感觉区调整发音时与目标语音所产生的误差。DIVA模型可以仿真和描述有关大脑中涉及语音生成和语音理解区域的相关功能。可以说，它是一种为了生成单词、音节或音素，用来控制模拟声道运动的自适应神经网络模型。该网络模型在计算机中学习控制模拟声道的运动，以产生相应的语音。学习完成之后，模型能够产生语音的任意组合。DIVA网络模型为许多长期研究的语音生成现象包括运动等效、语境变化、说话时速度的影响、预期的协同发音和结转协同发音提供了一个统一的解释。

冈瑟教授基于DIVA模型设计出一种神经分析系统的仪器(语音脑机接口系统)，让使用者只需简单想一想自己所希望表达的语言，语音合成系统就能将其内容直接转换成语音。通过与脑机接口技术相结合，使用者可以直接控制声音输出，其反应速度比著名科学家霍金目前正在使用的打字处理方式快了许多。这种神经分析系统由两部分组成：BCI和语音合成系统DIVA。BCI中，脑电信号的产生方式是一种无线神经电极，用于长期植入患者的大脑皮层，而检测到的神经信号则被用于驱动语音合成器的连续“运动”，为患者提供实时语音输出。

目前，国内的研究者们想要设计出能够“阅读”汉语思维过程的汉语神经分析系统，那么获悉英语和汉语在发音过程中大脑的加工机制的差异并找到适合于汉语发音的脑电信号分类方法就是汉语神经分析系统设计中的两个重点问题。

发明内容

本发明所要解决的技术问题是：针对现有技术的缺陷，提供一种基于DIVA模型的汉语脑机接口实现方法，通过对获取到的语音发音时神经信号进行识别，从而控制驱动语音合成器的运动。

本发明为解决上述技术问题采用以下技术方案：

一种基于DIVA模型的汉语脑机接口实现方法，其特征在于，具体步骤包括：

步骤一、获取人在进行汉语拼音发音时的脑电信号，对采集到的脑电信号进行数字滤波，去除没有意义的脑电信号成分；

步骤二、根据DIVA模型的预定义，选择与中文语音发音任务相关的脑区域电极所采集到的脑电信号数据；

步骤三、对脑电信号进行独立分量分析，选取与发音任务相关的脑电信号成分，去除与发音行为无关的噪声信号；

步骤四、使用Db2小波函数对去噪后的信号进行6层小波包分解，获取脑电信号的特征向量；

步骤五、使用通过小波包分解获得的特征向量对支持向量机分类器进行训练；

步骤六、使用经过训练的支持向量机分类器对使用者之后进行发音的脑电信号进行识别；

步骤七、使用步骤六产生的识别结果调整DIVA模型中提供的用户接口对声道参数进行设置，从而驱动DIVA模型进行发音任务。

作为本发明的进一步优选方案，所述步骤一中，使用128通道Neuralynx无创型脑电记录分析系统进行脑电信号的获取。

作为本发明的进一步优选方案，所述步骤三中，使用EEGLAB工具箱runICA方法对脑电信号进行独立分量分析，去除的噪声信号包括眼电信号、肌动信号。

作为本发明的进一步优选方案，所述步骤一中的数字滤波中，滤除频率在0.3-30Hz范围以外的信号。

作为本发明的进一步优选方案，所述步骤二中，所述DIVA模型中与中文语音发音相关的脑区域包括了左侧的顶叶下部和颞上回，使用Neuralynx无创型脑电记录分析系统进行数据采集，对第42通道采集的数据进行处理。