[发明专利]基于混合神经网络的婴儿啼哭声意图识别方法及装置

权利要求书

1.基于混合神经网络的婴儿啼哭声意图识别方法，其特征在于，包括以下步骤：

步骤1、获取包含婴儿啼哭声的音频数据及其对应的意图概率的数据集；

步骤2、建立基于CNN+DNN神经网络的意图识别模型；

步骤3、根据所述数据集对基于CNN+DNN神经网络的意图识别模型进行训练；

步骤4、根据训练好的基于CNN+DNN神经网络的意图识别模型对待识别婴儿啼哭声的音频数据进行意图识别；

所述基于CNN+DNN神经网络的意图识别模型的前段为包括15个残差网络模块的CNN模型，所述基于CNN+DNN神经网络的意图识别模型的后段为包括3个隐藏层的DNN模型；

所述建立基于CNN+DNN神经网络的意图识别模型的方法包括：

依次设置第一卷积层、第一最大池化层、15个串联的残差网络模块、第二池化层、第二卷积层、序列化降维模块、3个隐藏层和输出层；

所述第一卷积层包括16个3×3的卷积核，卷积步长为1，激活函数为ReLU；所述第一最大池化层的大小为3×3，步长为2，填充为1；所述残差网络模块的卷积核的数量依次为{16，16，16，16，16，16，32，32，32，32，32，32，64，64，64}，残差网络模块的步长依次为：{1，1，1，2，1，1，2，1，1，2，1，1，1，1，1}；所述第一最大池化层大小为2×2，步长为2；所述第二卷积层包括32个1×3的卷积核，卷积步长为[3,1]，激活函数为ReLU；所述序列化降维模块用于对数据进行序列化降维后输入至DNN模型；所述隐藏层的激活函数均为ReLU；所述输出层的激活函数为SOFTMAX。

2.如权利要求1所述的基于混合神经网络的婴儿啼哭声意图识别方法，其特征在于，所述数据集中的音频数据和待识别婴儿啼哭声的音频数据均是经过预处理转化之后得到的特征矩阵。

3.如权利要求2所述的基于混合神经网络的婴儿啼哭声意图识别方法，其特征在于，所述预处理包括：

对音频数据进行分帧后将其转换为pkl格式的音频数据，对所述pkl格式的音频数据参照MFCC梅尔频率倒谱系数的方式提取特征，并通过快速傅里叶变换、取平方值和梅尔滤波，得到梅尔频谱，最后形成特征矩阵。

4.如权利要求1所述的基于混合神经网络的婴儿啼哭声意图识别方法，其特征在于，每个残差网络模块中包括3个串联的第三卷积层和一个直接与残差网络模块的输入端连接的第四卷积层；

第一个第三卷积层与残差网络模块的输入端连接，其卷积核大小为1×1，卷积步长为1，激活函数为ELU；第二个第三卷积层的卷积核大小为3×3，卷积核的数量和卷积步长由输入值决定，激活函数为ELU；第三个第三卷积层的卷积核大小为1×1，卷积核的数量为输入值的四倍，卷积步长为1，不执行激活函数；所述第四卷积层的卷积核大小为1×1，卷积核的数量为输入值的四倍，卷积步长由输入值决定，不执行激活函数。

5.如权利要求4所述的基于混合神经网络的婴儿啼哭声意图识别方法，其特征在于，所述第四卷积层在输入特征矩阵的列数不等于卷积核数量的四倍或者卷积步长为2时才执行，当第四卷积层执行时，对应的残差网络模块的输出值为第三个第三卷积层的输出与第四卷积层的输出值按照位加处理后并执行激活函数ELU的结果，当第四卷积层不执行时，对应的残差网络模块的输出值为第三个第三卷积层的输出值与该残差网络模块的输入值进行位加处理后并执行激活函数ELU的结果。

6.如权利要求1所述的基于混合神经网络的婴儿啼哭声意图识别方法，其特征在于，所述根据数据集对基于CNN+DNN神经网络的意图识别模型进行训练包括：

从数据集中选取训练集，将所述训练集输入到基于CNN+DNN神经网络的意图识别模型中训练网络的参数，利用反向传播算法更新模型参数，所述模型参数至少包括：训练步数、卷积核和权重。