[发明专利]基于语音图谱和深度学习的实时性别识别方法

说明书

本发明涉及语音识别领域，尤其涉及于语音图谱和深度学习的实时性别识别方法，包括以下步骤：S1：基于深度学习算法建立模型；S2：语音对话过程中实时获取音频流；S3：将获取的音频流通过VAD切除静音部分；S4：通过fbank提取音频的数字特征；S5：将数字特征转换成语音图谱，将语音图谱通过模型进行性别预测，得到性别识别结果。本发明针对语音可以实时性别识别，同时提升了性别识别的准确率。

技术领域

本发明涉及语音识别领域，尤其涉及基于语音图谱和深度学习的实时性别识别方法。

背景技术

随着大数据和深度学习技术的发展，语音识别和声纹识别越来越多的运用于各行各业，包括目标任务确认，语音开锁，智能语音机器人等行业，还包括智能人机交互，声控机器人，智能家居语音唤醒等，随着深度学习技术的不断发展，声纹识别和语音识别技术已经出现了很多影响人们生活的产品，越来越大的影响了人类生活。

而在性别识别这块也有一些传统的方法尝试，例如：直接基于声音的基音频率差异，按男女不同范围的基音频率识别男女；采用多个传统模型融合的方式去实现，特征不断变换多个融合模型共同发挥作用。但是这些方法存在以下问题：基音频率差异这种方式，因为男女本身的基音频率就存在交叉，而且由于个体的特殊性导致准确率特别低；多模型融合方式的过程往往特别复杂，模型可解释性不强，而且预测时间特别长，没办法做到实时的性别识别；对话的音频信息往往含有一些外界噪音和背景音，或者是第二个人的说话信息以上方法在这个场景下准确率低下；对话中含有大量的静音部分(包括对话中单声道填充和对话人本身的停顿部分)，会影响识别的准确率。

发明内容

为解决上述问题，本发明提出涉及基于语音图谱和深度学习的实时性别识别方法。

基于语音图谱和深度学习的实时性别识别方法，包括以下步骤：

S1：基于深度学习算法建立模型；

S2：语音对话过程中实时获取音频流；

S3：将获取的音频流通过VAD切除静音部分；

S4：通过fbank提取音频的数字特征；

S5：将数字特征转换成语音图谱，将语音图谱通过模型进行性别预测，得到性别识别结果。

优选的，所述基于深度学习算法建立模型包括以下步骤：

S11：语音图谱结合打标标签生成样本信息，按照设定比例划分训练集合和测试集合；

S12：对语音图谱作归一化和正则化处理，保存样本集合的均值和方差信息；

S13：将训练集合输入给下游的resnet网络，重新训练网络最后一层和softmax层，多次循环，不断拟合神经网络的相关参数，直到损失达到阀值或者迭代次数达到预设值；

S14：用测试集合进行测试，若模型准确度达到预期值，则输出模型，否则调整参数或者样本信息重新训练模型。

优选的，所述语音图谱包括若干个768*32的二维数字矩阵。

优选的，所述语音图谱包括音频流的频域和时域信息。

本发明具备以下有益效果：

1.本发明通过VAD切除静音部分，提升了性别识别的准确率；

2.本发明采用语音图谱和深度学习结合的方案，利用迁移学习重新训练resnet网络，结合多个语音图谱综合计算概率的方式大大简化了整个识别过程；

3.在通话过程中，每一句话的实时识别，可以识别出一通对话中出现男女多个人的识别。

附图说明

下面结合附图和具体实施方式对本发明作进一步详细的说明。