[发明专利]一种基于神经网络的语音指令及身份识别方法

权利要求书

1.一种基于神经网络的语音指令及身份识别方法，其特征在于，包括数据集的获取及神经网络的设计与构建；具体包括：

步骤1，用于构建语音识别拼音转文字数据集的步骤；包括，确定当前场景需要识别的所有语句，确定语句文字和对应拼音，所述语句文字应涵盖所有需要识别的语句中的文字；基于前述语句文字和对应拼音分别构建出文字列表和拼音列表，即可通过这两个表将每个文字和拼音转换为整数值；最后将所有的语句的拼音和文字转换为整数值，并以拼音的整数列表作为基础数据建立拼音转文字的数据集；

步骤2，用于获取身份及语音识别基础数据的步骤；包括，确定当前场景需要识别的人员身份，以其名字或ID作为识别标签，分别让所有人员录制前述步骤1中的所有语句；

步骤3，用于构建身份及语音语句识别数据集的步骤；所述语音语句识别数据集采用如下方式建立：对前述步骤2中获取的语音数据进行分帧、加窗和快速傅里叶变换，得到相应的语音时频特征，并以该语音时频特征为基础数据建立语音语句识别的数据集；

所述身份识别数据集采用如下方式建立：对前述步骤2中获取的语音数据进行MFCC特征提取，并以该MFCC特征为基础数据建立身份识别的数据集；

步骤4，构建语音指令及身份识别数据集神经网络；

所述语音指令及身份识别数据集神经网络的设计包含以下步骤：

步骤4.1，确定网络层数，以及每层神经元数量；

步骤4.2，确定神经网络的超参数，包括学习率和迭代次数；

步骤4.3，确定神经网络的相关函数，包括代价函数和激活函数；

步骤4.4，依序构建出语音指令识别数据集的E-DFCNN神经网络、Transformer模型数据集神经网络和身份识别数据集的双层LSTM神经网络；

所述E-DFCNN神经网络采用四个卷积神经网络单元，所述四个卷积神经网络单元的卷积核大小为3*3，卷积核数量依次为32、64、128、128；

共使用三个池化层，选择最大池化层，池化窗口大小为2*2；共使用三个全连接层，前两个全连接层神经元数量分别为512和256，最后一个全连接层的神经元数量为指令中包含的需要识别的汉语拼音的种类数；共使用了2个Dropout层，丢弃率为0.2，防止过拟合。

2.根据权利要求1所述一种基于神经网络的语音指令及身份识别方法，其特征在于，所述Transformer模型以汉字拼音作为输入，输出汉字拼音对应的汉字，输入和输出长度相同，是一个序列标注任务，其中layer norm层用于做归一化处理，为防止分母为0报错，增加一个小浮点数epsilon，值为1e-8，即10的-8次方；embedding层对字词进行向量化操作，向量最大长度为100，其中隐藏神经元个数为512，丢弃率为0.2；multi-head attention层中，head的数量为8，隐藏神经元个数为512，丢弃率为0.2；前馈层采用1d卷积神经网络，神经元数量为2048。

3.根据权利要求1所述一种基于神经网络的语音指令及身份识别方法，其特征在于，所述双层LSTM神经网络，核心采用两个双向LSTM构成，其中输出单样本的特征值的维度为128，丢弃率为0.2，循环层丢弃率为0.2，输入尺寸为300*39；使用两个全连接层，第一个全连接层的神经元数量为32，第二个全连接层的神经元数量为参与样本训练的人员的数量。

4.根据权利要求1所述一种基于神经网络的语音指令及身份识别方法，其特征在于，所述步骤4中，还包括确定神经网络的超参数的步骤，所述超参数至少包括学习率、步长、训练迭代次数；具体而言：

在E-DFCNN神经网络模型中，学习率为0.0008，迭代次数为50次，在每次迭代中，batch_size为4；

在Transformer模型中，学习率为0.0003，迭代次数为50次，在每次迭代中，batch_size为4；

在双层LSTM神经网络模型中，学习率为0.001，迭代次数为50次，在每次迭代中，batch_size为8。