[发明专利]一种面向家居口语环境的神经网络语音识别方法及系统

权利要求书

1.一种面向家居口语环境的神经网络语音识别方法，其特征在于，该方法包括：

模型构建：在深度神经网络中加入长短期记忆网络，构建组合神经网络DNN-LSTM模型；

模型训练：

中文语音数据训练：对采集的中文语音数据集预处理，得到中文特征向量集，并将所述中文特征向量集作为所述DNN-LSTM模型的输入进行迭代训练，训练至最优中文声学模型；

英文语音数据训练：对采集的英文语音数据集预处理，得到英文特征向量集，并将所述英文特征向量集作为所述DNN-LSTM模型的输入进行迭代训练，训练至最优英文声学模型；

模型测试：

将一个未知语种的输入语音信号voice0，分别经过所述中文声学模型和所述英文声学模型，分别得到中文输出概率向量集和英文输出概率向量集；

根据所述中文输出概率向量集和英文输出概率向量集进行语种匹配，并输出判断结果；

根据所述中文输出概率向量集和英文输出概率向量集进行语种匹配，包括：

利用信息熵公式分别计算中文输出概率向量集P和英文输出概率向量集P'对应的信息熵，分别对应记为H和H'；其中，P＝{p₁,p₂,...,p_q}，P'＝{p′₁,p′₂,...,p′_t}，q为中文声学模型输出分类的总数，t为英文声学模型输出分类的总数；

若从中文声学模型输出的概率向量集中存在p_i明显大于其他的概率值，从英文声学模型输出的概率向量集中的各个概率值相差不大，其中，1≤i≤q；

且若输入到中文声学模型对应的信息熵H比输入到英文声学模型对应的信息熵H'小，则对应的未知语种的输入语音信号voice0为中文，并将中文声学模型的输出概率作为最后输出结果；

若从英文声学模型输出的概率向量集中存在p′_j明显大于其他的概率值，从中文声学模型输出的概率向量集中的各个概率值相差不大，其中，1≤j≤t；

且若输入到英文声学模型对应的信息熵H'比输入到中文声学模型对应的信息熵H小，则对应的未知语种的输入语音信号voice0为英文，并将英文声学模型的输出概率作为最后输出结果。

2.根据权利要求1所述的面向家居口语环境的神经网络语音识别方法，其特征在于，所述组合神经网络DNN-LSTM模型包括输入层、长短期记忆网络、第二隐藏层、第三隐藏层、第四隐藏层和输出层，所述长短期记忆网络作为第一隐藏层。

3.根据权利要求2所述的面向家居口语环境的神经网络语音识别方法，其特征在于，所述第一隐藏层的节点数为512个，其激活函数选择sigmoid函数和tanh函数，第二隐藏层、第三隐藏层和第四隐藏层的节点数均为1024个，激活函数选择sigmoid函数。

4.根据权利要求3所述的面向家居口语环境的神经网络语音识别方法，其特征在于，所述中文特征向量集作为所述DNN-LSTM模型的输入进行迭代训练，训练步骤包括：

(1)初始化模型结构中的权值矩阵W和偏置向量b为一个随机值；

(2)开始从第1次到最大次数的迭代；在每次迭代中，都是从第一条语音数据训练样本开始遍历至最后一个训练样本；

(3)在每一个训练样本的训练过程中，将对应的特征向量输入到输入层；从第一隐藏层开始遍历到输出层，并采用前向传播算法表示出正在遍历的对应层，然后根据损失函数表示输出层；前向传播算法完成后，开始从第四隐藏层遍历至第一隐藏层，采用反向传播算法表示对应的第一隐藏层；

(4)反向传播算法完成后，从第一隐藏层到输出层的顺序开始遍历，并更新对应层的权值矩阵和偏置向量Wⁿ、bⁿ，n为正在遍历的那一层，n＝1,2,3,4,5，至此一次迭代过程中对于一个样本的训练就结束了；此时若样本没有遍历完，则继续遍历样本；若样本已经遍历完，则进行下一次的迭代；

(5)当全部W、b的改变值都不超过迭代阈值，则停止迭代循环；

(6)保存各层的最优权值矩阵W和偏置向量b。

5.一种根据权利要求1-4任一项所述的面向家居口语环境的神经网络语音识别方法实现的系统，其特征在于，该系统包括：

模型构建模块，用于在深度神经网络中加入长短期记忆网络，构建组合神经网络DNN-LSTM模型；

模型训练模块，其又包括中文模型训练单元和英文模型训练单元，所述中文模型训练单元，用于对采集的中文语音数据集预处理，得到中文特征向量集，并将所述中文特征向量集作为所述DNN-LSTM模型的输入进行迭代训练，训练至最优中文声学模型；

英文模型训练单元，用于对采集的英文语音数据集预处理，得到英文特征向量集，并将所述英文特征向量集作为所述DNN-LSTM模型的输入进行迭代训练，训练至最优英文声学模型；

模型测试模块，其又包括语音输入单元和语音类型判断单元，所述语音输入单元，用于将一个未知语种的输入语音信号voice0，分别经过所述中文声学模型和所述英文声学模型，分别得到中文输出概率向量集和英文输出概率向量集；所述语音类型判断单元，用于根据所述中文输出概率向量集和英文输出概率向量集进行语种匹配，并输出判断结果；

根据所述中文输出概率向量集和英文输出概率向量集进行语种匹配，包括：

利用信息熵公式分别计算中文输出概率向量集P和英文输出概率向量集P'对应的信息熵，分别对应记为H和H'；其中，P＝{p₁,p₂,...,p_q}，P'＝{p′₁,p′₂,...,p′_t}，q为中文声学模型输出分类的总数，t为英文声学模型输出分类的总数；

若从中文声学模型输出的概率向量集中存在p_i明显大于其他的概率值，从英文声学模型输出的概率向量集中的各个概率值相差不大，其中，1≤i≤q；

且若输入到中文声学模型对应的信息熵H比输入到英文声学模型对应的信息熵H'小，则对应的未知语种的输入语音信号voice0为中文，并将中文声学模型的输出概率作为最后输出结果；

若从英文声学模型输出的概率向量集中存在p′_j明显大于其他的概率值，从中文声学模型输出的概率向量集中的各个概率值相差不大，其中，1≤j≤t；

且若输入到英文声学模型对应的信息熵H'比输入到中文声学模型对应的信息熵H小，则对应的未知语种的输入语音信号voice0为英文，并将英文声学模型的输出概率作为最后输出结果。