[发明专利]一种面向硬件的深度脉冲神经网络语音识别方法和系统

说明书

一种面向硬件的深度脉冲神经网络语音识别方法，包括：获取开源语音数据集；对语音数据集进行预处理，从高维语音数据中获得低维语音特征，并将其编码为脉冲序列；构建深度脉冲神经网络模型，模型中各神经元均采用硬件友好的集成点火模型；构造损失函数，采用梯度替代的时空反传算法更新网络权值，在训练数据集上对深度脉冲神经网络模型进行训练，并保存更新后的网络权值；将浮点权值量化为定点权值，深度脉冲神经网络模型加载量化后的定点权值，对测试数据集进行识别，得到预测的分类标签，实现面向硬件的深度脉冲神经网络模型的语音识别。本发明还包括一种面向硬件的深度脉冲神经网络语音识别系统本发明降低了识别功耗，保持了近似的识别准确率。

技术领域

本发明属于语音识别及神经形态计算技术领域，涉及一种面向硬件的深度脉冲神经网络语音识别方法和系统。

背景技术

脉冲神经网络作为“第三代神经网络”模拟了人脑神经元的工作机制，以脉冲的形式传递信息。神经元接收到脉冲时膜电位才会累积，当累积的膜电位达到阈值时，神经元被激活发放脉冲，并向下一层传递。若膜电位尚未达到阈值，神经元则处于非激活状态。这种稀疏的、事件驱动的信息处理机制赋予了脉冲神经网络高效和低功耗的优势，适合于在资源受限的硬件设备上进行应用部署。目前，脉冲神经网络在语音识别任务中受到了越来越多的关注。大多数脉冲神经网络语音模型面向计算机软件平台，在训练脉冲神经网络执行语音识别任务时，直接使用高维度的语音数据作为网络输入，同时为了获得较好的表现，网络中的权值使用高精度浮点数。

然而，具有高维度输入以及高精度浮点权值的模型不适合用于位宽受限的硬件设备，软件端训练的脉冲神经网络语音模型在资源受限的硬件设备上的部署存在困难。

发明内容

为了解决现有技术中存在的上述技术问题，本发明提出了一种面向硬件的深度脉冲神经网络语音识别方法和系统，应用于语音数据的识别，其具体技术方案如下：

一种面向硬件的深度脉冲神经网络语音识别方法，包括以下步骤：

步骤一：获取开源语音数据集，并划分为训练以及测试数据集；

步骤二：对语音数据集进行预处理，从高维语音数据中获得低维语音特征，并将其编码为脉冲序列；

步骤三：构建深度脉冲神经网络模型，模型中各神经元均采用硬件友好的集成点火模型；

步骤四：构造损失函数，采用时空反传算法优化网络权值，在训练数据集上对深度脉冲神经网络模型进行训练，并保存更新后的网络权值；

步骤五：将浮点权值量化为定点权值，深度脉冲神经网络模型加载量化后的定点权值，对测试数据集进行识别，得到预测的分类标签，实现面向硬件的深度脉冲神经网络模型的语音识别。

进一步的，所述步骤一，具体为：获取audioMNIST开源语音数据集，划分出训练集和测试集。

进一步的，所述步骤二，具体包括以下子步骤：

步骤2.1，对语音数据进行预处理，首先对语音数据进行预加重、分帧和加窗操作；接着对每一帧短时分析窗，通过快速傅里叶变换得到对应的频谱；然后将得到的频谱通过Mel滤波器组得到Mel频谱；最后对Mel频谱取对数、进行离散余弦变换，获得Mel频率倒谱系数作为语音特征；

步骤2.2，对语音特征进行编码，设置总的仿真时间步为T，在每个时间步，若频谱特征大于服从均匀分布生成的随机概率，该时间步产生脉冲，值为1，否则为0，由此将频谱特征的实数值编码为由0，1离散值表示的脉冲序列。

进一步的，所述步骤三，具体包括以下子步骤：