[发明专利]基于脑机接口技术语音生成方法及医疗系统和终端

权利要求书

1.一种基于脑机接口技术的语音生成方法，包括以下步骤：

步骤S1：通过多种信号采集设备分别采集脑电信号、外界环境中的音频信号和视频图像信号，得到多个对应的多个维度的信号x_n(t)、y_m(t)、z_k(t)；

步骤S2：对所述脑电信号、所述音频信号和所述视频图像信号x_n(t)、y_m(t)、z_k(t)分别进行特征提取处理，所述脑电信号的特征提取得到脑电特征向量F_n(n)，所述音频信号的特征提取得到音频特征向量F_m(n)，所述视频图像信号的特征提取得到图像特征向量F_k(n)；

步骤S3：将所述脑电特征向量F_n(n)、所述音频特征向量F_m(n)和所述图像特征向量F_k(n)拼接成完整的固定维度的特征向量F(n)；

步骤S4：通过由深度卷积神经网络和全联接神经网络并行组成的分层结构的神经网络在局部和全局两个角度上对所述特征向量F(n)进行高层次的特征提取，得到提取的高层次抽象特征向量；

步骤S5：通过双向长短时记忆网络对步骤S4提取的高层次抽象特征向量进行处理，得到音节与拼音序列，其中，所述双向长短时记忆网络具有正向输入和反向输入；

步骤S6：将所述音节与拼音序列输入到机器翻译网络，进行输入序列到输出序列的转换，以进行脑电信号的意图解析和语言文本表达；

步骤S7：生成语音信号，通过基于生成对抗网络的文本语音转换模型，通过步骤S6输出的意图解析和语言文本表达生成语音波形信号，实现脑机接口的语音生成；

其中，所述正向输入包括脑机生成语音的声音信号、外界环境中的音频信号、视频图像信号以及伴随的大脑活动信号的脑电信号经特征提取得到的特征向量，所述反向输入包括患者在听到自己脑机生成语音后的反馈输入信息和外界倾听者听到脑机生成语音后被捕捉的音频信号和视频图像信号。

2.根据权利要求1所述的语音生成方法，其中，所述脑电信号由非侵入式方式的多个电极实时采集，所述音频信号由麦克风阵列实时采集，所述视频图像信号由多个分散放置的摄像头实时捕捉。

3.一种基于脑机接口技术进行语音生成的医疗系统，包括：

无创感知模块，是一种装有电极的头戴式设备，所述无创感知模块包括两个部分，第一部分是脑电信号感知单元，第二部分是外界音频和图像感知单元；

特征提取模块，配置为对脑电信号特征向量和音频与视频图像信号的特征向量进行拼接，经过由深度卷积神经网络和全联接神经网络并行组成的分层结构的神经网络提取高层次抽象特征向量；

反馈信息模块，配置作为上下文语境信息和错误纠正单元，利用患者在听到脑机生成的语音后的反馈输入信息对模型预测进行矫正和纠错；

信号解释与识别模块，配置为将高层次抽象特征向量输入到双向长短时记忆网络中，经过多层非线性表达解码成音节与拼音序列；

意图识别与语言组织模块，配置为将所述音节与拼音序列加上语言模型和反馈信息模块的内容，经过基于注意力机制的机器翻译网络进行解码以识别患者的表达意图和其对应的语言文本表达结果，实现脑电转文本的过程；

语音生成模块，配置为利用生成对抗网络对所述语言文本表达结果进行对抗学习与训练，输出语音声波，实现语音的生成。

4.根据权利要求3所述的医疗系统，还包括：

语音播报模块，配置为将脑机接口生成的语音通过扬声器播放出来。

5.一种终端，包括：

至少一个存储器和至少一个处理器；

其中，所述至少一个存储器用于存储程序代码，所述至少一个处理器用于调用所述至少一个存储器所存储的程序代码执行权利要求1或2所述的语音生成方法。

6.一种存储介质，所述存储介质用于存储程序代码，所述程序代码用于执行权利要求1或2所述的语音生成方法。