[发明专利]一种面向听觉诱发的端到端脑电信号解码方法

说明书

本发明公开了一种面向听觉诱发的端到端脑电信号解码方法，包括以下步骤：S1、获取待测人员的脑电数据以及解码后的语音数据；S2、对所述脑电数据和语音数据进行预处理；S3、对预处理后的数据进行分类识别，获得脑电数据集、脑电/语音数据集和语音数据集；S4、构建双DualGAN网络模型，基于所述脑电数据集、所述脑电/语音数据集和所述语音数据集对所述双DualGAN网络模型进行训练，获得训练好的所述双DualGAN网络模型，对所述待测人员的脑电数据进行解码，获得语音信号。本发明基于双DualGAN的模型算法在人机交互方面具有一定的可行性和有效性，该方法为脑机接口的研究扩展提供新的思路。

技术领域

本发明涉及脑电数据分析领域，特别是涉及一种面向听觉诱发的端到端脑电信号解码方法。

背景技术

听觉诱发脑机接口的研究工作在很早就已经展开，2004年，Hinterberger提出了一种脑机接口系统，该系统基于皮层慢电位并且采用听觉刺激作为诱发方式，受试者可以自主进行电位调节，该系统的识别率为59％。2008年，Tibingen实验室在提出了基于体感运动节律的脑机接口系统，同样采用听觉诱发，但是该范式下受试者的脑电识别正确率仅为55.96％。在此之后，Tubingen脑机接口实验室在2009年提出了基于经典P300范式的听觉脑机接口，该系统采用字符输入方式，并且脑电识别正确率达到68％。为了提高听觉诱发脑机接口的识别准确率，2013年，Namba等人发现ASSR与α波相结合能够使BCI系统的分类正确率明显提高，此后Nakamura等人提出了使用由文本到语音(Text-To--Speech，TTS)软件合成人造语音刺激来构建基于ASSR的BCI系统。此项研究是第一次将人造语音应用于基于ASSR的BCI系统，该系统的分类识别率有了较大提高，但是最高也仅为78.6％。2019年1月，美国哥伦比亚大学的研究人员提出了一种将脑电转化为语音的技术，该研究基于深度学习模型和声码器的技术，通过将脑电波输入深度学习模型将其转化为语音形式，从而完成语音重建，实验结果表明该模型识别准确率为75％，达到了听觉BCI系统中较高的准确率，使用侵入式电极，并且需要采集人类下颌、嘴唇和舌头等多部位动作相关的肌肉活动，过程比较繁琐。

综上所述，现有听觉诱发脑机接口主要存在以下问题：

(1)听觉诱发BCI的研究主要集中在基于P300、听觉稳态响应(ASSR)和基于选择注意等方面，实验范式还不够完善，需要根据实际应用场景建立特定的脑机接口。

(2)目前听觉诱发脑机接口中传统的分类算法存在识别准确率较低，模型泛化性较差等问题，造成了脑机接口中的“BCI盲”(脑机接口分类识别准确率低于70％)问题，识别率还有很大的上升空间。

(3)现有人机交互系统主要依赖特定的通讯设备进行沟通，这类设备包括辅助器具和神经假体，但是，这样的沟通过程显然无法与人类正常的说话过程相比，降低人与外界环境沟通的效率。

发明内容

本发明的目的是提供一种面向听觉诱发的端到端脑电信号解码方法，以解决上述现有技术存在的问题，使准确的快速的传达出大脑信息。

为实现上述目的，本发明提供了如下方案：

本发明提供了一种面向听觉诱发的端到端脑电信号解码方法，包括以下步骤：

S1、获取待测人员的脑电数据以及解码后的语音数据；

S2、对所述脑电数据和语音数据进行预处理；

S3、对预处理后的数据进行分类识别，获得脑电数据集、脑电/语音数据集和语音数据集；

S4、构建双DualGAN网络模型，基于所述脑电数据集、所述脑电/语音数据集和所述语音数据集对所述双DualGAN网络模型进行训练，获得训练好的所述双DualGAN网络模型，对所述待测人员的脑电数据进行解码，获得语音信号。