[发明专利]一种基于脑电信号的语音谱图重构方法

说明书

一种基于脑电信号的语音谱图重构方法，属于语音谱图重构技术领域，本发明为解决现有无创脑电图的重建语音精度较低，并且存在转换过程中信息丢失，导致很难直接从神经反应中恢复具有高精度可懂度语音的问题。它包括：在自然语音播放过程中采集脑电信号；对脑电信号进行降噪预处理，利用带通滤波器组和希尔伯特变换获取脑电信号的频谱图；将频谱图和对应的脑电信号分为训练集和测试集；采用留一交叉检验法对训练集进行检验，利用线性回归模型在训练集上建立从脑电信号到频谱图之间的映射模型，获取预测语音的频谱图；利用带通滤波器组调制白噪声，将调制噪声与预测语音频谱包络叠加进行组合，创建噪声驱动音，获得重建的语音。本发明用于语音重建。

技术领域

本发明涉及一种基于脑电信号的语音谱图重构方法，属于语音谱图重构技术领域。

背景技术

在生活中，由于先天或者后天原因丧失了正常语言表达能力的各种神经疾病患者不在少数，如感音神经性听力损失、失语症和其他语言障碍者，他们在日常交流中会有极大困难。而基于神经信号的语音修复技术能够读出直接从测量的神经活动中获得的语音，为因身体或神经损伤而无法说话的人提供了自然交流的机会，帮助他们实现自然对话，提高生活质量，特别是对患有神经系统疾病的人，作用尤为明显。

从耳蜗到初级听觉大脑皮层的外周，听觉系统可以将语音分解为时频表示，可计算建模为带通滤波和包络提取。这种时间振幅包络(Temporal Amplitude Envelope,TAE)在听觉感知和言语理解中起着重要作用。随着对大脑神经疾病的关注，有两种提取脑电信号技术，分别为头皮脑电(Electroencephalogram,EEG)和颅内脑电(Electrocorticography,ECoG)。ECoG主要应用于临床神经外科手术，是将电极直接放置在暴露头皮的脑部，记录大脑皮层的电活动的侵入式的电生理监测方法。该技术在空间分辨率和信噪比方面都具有一定的优势。使用颅内皮质脑电图确定语音中的声学信息，使声音可以从群体神经活动中重建出来，可以揭示在颞皮质保留下来的关键听觉特征。其他研究证明，在语音生成和语音感知任务中，可以直接利用ECoG信号识别或合成。另一种得到广泛应用的脑电图(EEG)是一种非侵入性记录脑电活动的电生理监测方法，将电极沿着头皮放置，然后通过放置在头皮上的多个电极，记录大脑在一段时间内自发进行的电活动。之前的研究表明，功能对齐EEG方法能够提高TAE重建精度，然而，非侵入性脑电信号是否可以重建更复杂的频谱特征尚不清楚。与无创脑电图EEG相比，ECoG显示出更好的空间分辨率和信噪比。而颅内ECoG具有侵入性，由于其空间范围有限，很难研究整个大脑的来源分布。

发明内容

本发明目的是为了解决现有无创脑电图的重建语音精度较低，并且存在转换过程中信息丢失，导致很难直接从神经反应中恢复具有高精度可懂度语音的问题，并提供一种基于脑电信号的语音谱图重构方法。

本发明提出的一种基于脑电信号的语音谱图重构方法，它包括：

S1、在自然语音的播放过程中采集脑电信号；

S2、对采集的脑电信号进行降噪预处理，然后利用带通滤波器组和希尔伯特变换获取脑电信号的频谱图，所述频谱图的采样频率与S1获取的脑电信号的采样频率相同；

S3、将S2获得的频谱图和对应的脑电信号分为训练集和测试集；

S4、采用留一交叉检验法对训练集进行检验，检验后利用线性回归模型在训练集上建立从脑电信号到频谱图之间的映射模型，根据映射模型的脑电数据获取预测语音的频谱图；

S5、利用带通滤波器组调制白噪声，将获得的调制噪声与预测语音的频谱包络相叠加进行组合，创建噪声驱动音，获得重建的语音。

优选的，S2所述对采集的脑电信号进行降噪预处理的具体方法包括：将相同自然语音段对应的脑电信号进行线性变换，使得线性变换后的脑电信号与自然语音段之间的相关性最大。

优选的，S4所述采用留一交叉检验法对训练集进行检验的具体方法包括：