[发明专利]一种基于CRBM和SNN进行鲁棒性语音性别分类的方法

说明书

本发明公开了一种基于CRBM和SNN进行鲁棒性语音性别分类的方法，包括以下步骤：步骤一，语音数据集预处理：选择语音数据，并将语音数据转换为语谱图，再将语谱图进行预处理降维操作；步骤二，数据特征编码：以CRBM作为特征提取器来提取特征，进一步通过脉冲时滞编码将提取到的特征转化为脉冲序列；步骤三，tempotron神经元的训练：通过脉冲神经网络结合tempotron学习算法处理脉冲序列；步骤四，读出部分：采用分组设计，最终决策采用了投票法来对分类结果进行判定。本发明在噪声环境下可以有效的对性别进行分类。

技术领域

本发明属于类脑计算领域，具体涉及一种基于CRBM和SNN进行鲁棒性语音性别分类的方法。

背景技术

脉冲神经网络由于更加具有生物可塑性而受到越来越多的关注。传统的人工神经网络和脉冲神经网络的主要不同点在于编码方式和处理方式的不同，传统的人工神经网络通过脉冲触发的平均速率来编码，而脉冲神经网络采用脉冲触发的时序进行编码。脉冲神经网络能够处理带有时间序列信息的能力，使得它比传统的人工神经网络更能处理带有时间结构的数据。

应用脉冲神经网络处理分类的任务，有两个主要的挑战：信息编码和脉冲学习。信息编码指如何将外界刺激(如声音)转换成脉冲序列。不同的编码方式对学习性能有不同的影响，因此需要一个有效的编码方式来加速学习，提高神经网络的性能。有研究表明，卷积受限玻尔兹曼机(CRBM)能够有效地提取声音特征，在性别分类上优于传统的MFCC方法。因此，CRBM作为特征提取器来提取特征，然后又采用了脉冲时滞编码将提取到的特征转换成带有时间结构的脉冲序列。

发明内容

针对以上技术问题，本发明提出了一种基于CRBM和SNN的系统方法来进行性别分类的任务，将脉冲神经网络应用在语音处理领域，丰富了脉冲神经网络的应用研究。

本发明的技术方案为：一种基于CRBM和SNN进行鲁棒性语音性别分类的方法，包括以下步骤：

步骤一，语音数据集预处理：从语音数据库中选择若干句不同信噪比的语音数据并随机分为训练集和测试集两组；将所述语音数据通过快速傅里叶变换转换为语谱图，再经过PCA操作对语谱图进行预处理降维操作；

步骤二，数据特征编码：

1)特征提取：运用无监督方法CRBM进行特征提取，选择500组滤波器进行训练，CRBM训练得到的特征值进行从大到小排序，特征值的大小代表了脉冲传播的顺序；

2)脉冲序列生成：根据所提取特征值的大小和产生脉冲的时间成反比的原则生成脉冲图，每个神经元在编码时间窗内只产生一个脉冲；

步骤三，tempotron神经元的训练：

通过脉冲神经网络结合tempotron学习算法处理脉冲序列，计算神经元后突触膜电位，膜电位的计算如公式(1)-(2)：

其中，K(t-t_i)代表在t时间下t_i时间点传入的脉冲的贡献，

当膜电位V(t)超过一个固定的阈值时，神经元就会发放一个脉冲，并很快地降至复位点位并维持一小段时间，然后接受前段突触的输入脉冲重新升高膜电位；

步骤四，读出部分：

采用分组设计，根据学习神经元的响应对刺激信号进行分类，具体为将tempotron神经元分为激活或者不激活两种状态，使所有状态下的tempotron神经元都响应它们对应的目标类别，同时对不属于目标类别的神经元保持不变，最终根据投票法来对分类结果进行判定。

进一步地，所述步骤一中预处理降维操作的具体方法为：对每句话提取语谱图时，窗长设置为16ms，窗移设置为8ms，窗函数使用的是汉明窗，PCA组分设置为80。