[发明专利]深度神经网络的构建方法及系统

说明书

技术领域

本发明涉及信号处理领域，尤其涉及一种深度神经网络的构建方法及系统。

背景技术

语音识别即让机器听懂人说的话，将语音信号转化为计算机可识别的输入。近20年来语音识别技术取得了显著成效，开始从实验室走向市场。目前基于语音识别技术的语音输入，语音检索，语音翻译等得到了广泛的运用。随着科技的进步，信息的爆炸性增长，可以获得的语音数据也越来越多，如何利用海量的数据训练一个语音识别系统，使语音识别率达到更高是实际应用中的一项难题。

传统自动连续语音识别系统主要采用基于隐马尔科夫模型(Hidden Markov Model,HMM)和高斯混合模型(Gaussian Mixture Model,GMM)的GMM-HMM语音识别系统。GMM-HMM语音识别系统使用HMM对语音信号的时序结构进行建模，每个HMM状态的输出概率采用混合高斯模型模拟。近年来基于深度神经网络（Deep Neural Networks,DNN）和隐马尔科夫模型的DNN-HMM语音识别系统受到研究人员越来越多的关注，DNN-HMM系统采用DNN替代GMM模拟每个HMM状态的输出概率。相比于GMM模型，DNN模型的描述能力更强，能够更好地模拟非常复杂的数据分布，并且能够很好地学习到数据上下文的信息，因此相对于GMM-HMM系统，DNN-HMM系统能够取得显著的性能提升。

然而尽管DNN-HMM系统在性能上具有明显优势，但在实际应用中依然较难推广，主要原因在于DNN-HMM的模型复杂度较高，模型训练和解码时所需时间均远远超出了GMM-HMM系统。比如通常情况下DNN模型中隐含层个数至少有6个，且每个隐含层的节点个数都由系统预先设定相同数值，如2048或者2560个节点。显然所述模型的拓扑结构较为复杂且模型参数众多，给大数据库上的模型训练及后续语音解码带来较大的运算压力，导致系统运行效率过慢，不利于系统实用化的推广和更新。

发明内容

本发明的目的在于克服现有技术中的不足，提供一种深度神经网络的构建方法及系统，通过对各隐含层的节点个数的有效控制，大大减少了深度神经网络中节点的冗余性。

为实现上述目的，本发明的技术方案是：

一种深度神经网络的构建方法，包括：

确定深度神经网络输入层的节点个数和输出层的节点个数；

获取训练数据；

确定深度神经网络隐含层的层数和第一层隐含层的节点个数：

根据所述训练数据的数据量、隐含层的层数和第一层隐含层的节点个数，确定后续隐含层的节点个数，并使不同隐含层的节点个数呈递减变化；

利用所述训练数据确定所述深度神经网络的模型参数得到深度神经网络。

优选地，所述确定后续隐含层的节点个数，并使不同隐含层的节点个数呈递减变化包括：

根据所述训练数据的数据量确定递减方式及递减比例；

按照确定的递减方式及递减比例确定后续隐含层的节点个数。

优选地，所述根据所述训练数据的数据量确定递减方式及递减比例包括：

使后续各隐含层的节点个数在所述第一层隐含层的节点个数的基础上按照所述递减比例逐层递减。

优选地，所述根据所述训练数据的数据量确定递减方式及递减比例包括：

对于层数小于等于层数阈值的各隐含层，使其中各隐含层的节点个数在所述第一层隐含层的节点个数的基础上按照所述递减比例逐层递减；

对于层数大于所述层数阈值的各隐含层，使其中各奇数层隐含层的节点个数在其前一个奇数层隐含层的节点个数的基础上按照所述递减比例递减，使其中各偶数层隐含层的节点个数等于其前一个隐含层的节点个数。

优选地，第k个隐含层的递减比例为：1/p^k-1，其中，1≤p≤2。

一种深度神经网络的构建系统，包括：

输入输出层确定单元，用于确定深度神经网络输入层的节点个数和输出层的节点个数；

数据获取单元，用于获取训练数据；

隐含层第一确定单元，用于确定深度神经网络隐含层的层数和第一层隐含层的节点个数：

隐含层第二确定单元，用于根据所述训练数据的数据量、隐含层的层数和第一层隐含层的节点个数，确定后续隐含层的节点个数，并使不同隐含层的节点个数呈递减变化；

模型参数确定单元，用于利用所述训练数据确定所述深度神经网络的模型参数得到深度神经网络。

优选地，所述隐含层第二确定单元包括：