[发明专利]语音识别模型训练方法和语音识别联邦训练系统

说明书

本发明公开一种语音识别模型训练方法，包括：基于通用语音识别样本集训练初始化通用语音识别模型；基于第一自适应语音识别样本集训练所述初始化通用语音识别模型得到第一用户语音识别模型；基于第一自适应语音识别样本集和第一声学环境信息训练第一用户语音合成模型；基于所述第一用户语音合成模型所生成的合成音频更新所述初始化通用语音识别模型得到新的通用语音识别模型，用于训练第二用户语音识别模型。本发明引入“语音合成模块”，通过它来记忆“通用/用户数据”的信息。通过引入声学环境信息，表征不同的说话人、噪声环境、语速等信息，可以增加模拟生成数据的泛化能力，提升训练效果，提高训练效率。

技术领域

本发明涉及语音识别技术领域，尤其涉及一种语音识别模型训练方法和语音识别联邦训练系统。

背景技术

声学模型自训练技术是指，通过将声学模型的优化训练能力以界面化或者接口的方式开放给用户(使用者)，使得用户能够利用自己已完成标注的数据进行声学模型的调优。该类技术的提供者，如阿里、微软等，均是通过提供平台或接口，让用户具有自主优化语音识别模型中声学模型的能力，用户只需要按要求上传待优化场景的语音和对应标注文本，即可自主完成模型的优化。

在赋能用户能够自主完成语音识别声学模型训练后，也产生了新的需求。一方面我们不单希望用户能够利用自己的数据进行模型的优化，同时也希望这些优化能够被从用户的私有化环境中拿出，作用于我们的通用模型，而以往由于数据安全的问题，我们不能够直接拿到用户的数据，这样的优化操作通常不可实现。另一方面，通用模型也在不断的优化提升中，虽然我们可以定期将优化更新的通用模型通过部署到用户环境的方式，让用户能够享受到这些提升，但是由于用于训练这些通用模型的数据通常不包含用户私有场景的数据，用户还需要用自有的数据再次对新部署的模型进行自训练，这样会额外增加训练工作。

发明内容

本发明实施例提供一种语音识别模型训练方法和语音识别联邦训练系统，用于至少解决上述技术问题之一。

第一方面，本发明实施例提供一种语音识别模型训练方法，该方法包括：

基于通用语音识别样本集训练初始化通用语音识别模型；

基于第一自适应语音识别样本集训练所述初始化通用语音识别模型得到第一用户语音识别模型；

基于第一自适应语音识别样本集和第一声学环境信息训练第一用户语音合成模型；

基于所述第一用户语音合成模型所生成的合成音频更新所述初始化通用语音识别模型得到新的通用语音识别模型，用于训练第二用户语音识别模型。

第二方面，本发明实施例提供一种语音识别联邦训练系统，其特征在于，用于执行语音识别模型训练方法，所述系统包括：

用户模型环境模块，用于基于通用语音识别模型进行自适应训练，以得到用户语音识别模型；

交互缓存模块，用于根据合成文本和参数化的声学环境信息训练得到语音合成模型；

通用模型环境模块，用于基于通用语音识别样本集训练初始化通用语音识别模型，并随语音合成模型的增量更新而更新所述初始化通用语音识别模型。

第三方面，本发明实施例提供一种存储介质，所述存储介质中存储有一个或多个包括执行指令的程序，所述执行指令能够被电子设备(包括但不限于计算机，服务器，或者网络设备等)读取并执行，以用于执行本发明上述任一项语音识别模型训练方法。

第四方面，提供一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明上述任一项语音识别模型训练方法。