[发明专利]基于说话人扩充的语音识别模型训练方法及系统

说明书

本发明实施例提供一种基于说话人扩充的语音识别模型训练方法。该方法包括：接收语音训练集，将训练数据输入至音频编码器，确定训练语音中各说话人的深度特征；将各说话人的深度特征输入至说话人分类器，确定各说话人的声谱特征，建立说话人声谱网络；基于说话人声谱网络模拟新的说话人声谱，生成新的说话人的模拟语音训练集；基于语音训练集以及模拟语音训练集训练语音识别模型。本发明实施例还提供一种基于说话人扩充的语音识别模型训练系统。本发明实施例通过对说话人建模，建立说话人声谱网络，在声谱网络中采样出丰富的说话人信息，生成新的说话人语音，提升了语音训练集的多样性，提升了语音识别模型鲁棒性，降低了语音识别的词错率。

技术领域

本发明涉语音识别领域，尤其涉及一种基于说话人扩充的语音识别模型训练方法及系统。

背景技术

语音识别系统的性能和所使用的训练数据量密切相关。使用越充足的数据，往往可以得到越高的性能。使用语音合成来进行语音识别数据的扩充是一种很有效的数据增强方案。它仅仅使用文本进行语音合成，之后将合成的数据作为语音识别的训练数据，从而实现语音识别系统性能的提升。

在实现本发明过程中，发明人发现相关技术中至少存在如下问题：

在低资源语音识别任务中，训练数据中只包含少量的说话人，现有方法通过数据增强获得的语音数据，虽然能提高语音训练数据的数量，但是无法提高训练数据中说话人的种类，由于训练数据中说话人个数十分有限，从而使得合成数据中所包含的说话人数量较少，所覆盖的音频变化不够丰富，使得语音识别系统鲁棒性较差。

发明内容

为了至少解决现有技术中在训练语音识别模型时，无法提高说话人的数量和种类，使得语音识别系统的鲁棒性较差的问题。

第一方面，本发明实施例提供一种基于说话人扩充的语音识别模型训练方法，包括：

接收语音训练集，将所述训练数据输入至音频编码器，确定训练语音中各说话人的深度特征；

将所述各说话人的深度特征输入至说话人分类器，确定各说话人的声谱特征，建立说话人声谱网络；

基于所述说话人声谱网络模拟新的说话人声谱，生成新的说话人的模拟语音训练集；

基于所述语音训练集以及所述模拟语音训练集训练所述语音识别模型。

第二方面，本发明实施例提供一种基于说话人扩充的语音识别模型训练系统，包括：

深度特征确定程序模块，用于接收语音训练集，将所述训练数据输入至音频编码器，确定训练语音中各说话人的深度特征；

声谱网络建立程序模块，用于将所述各说话人的深度特征输入至说话人分类器，确定各说话人的声谱特征，建立说话人声谱网络；

新说话人生成程序模块，用于基于所述说话人声谱网络模拟新的说话人声谱，生成新的说话人的模拟语音训练集；

模型训练程序模块，用于基于所述语音训练集以及所述模拟语音训练集训练所述语音识别模型。

第三方面，提供一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例的基于说话人扩充的语音识别模型训练方法的步骤。

第四方面，本发明实施例提供一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现本发明任一实施例的基于说话人扩充的语音识别模型训练方法的步骤。

本发明实施例的有益效果在于：通过对说话人建模，建立说话人声谱网络，在声谱网络中采样出丰富的说话人信息，生成新的说话人语音，提升了语音训练集的多样性，提升了语音识别模型鲁棒性，降低了语音识别的词错率。

附图说明