[发明专利]语音识别及模型训练的方法、设备、存储介质及程序产品

说明书

本公开提供了语音识别及模型训练的方法、设备、存储介质及程序产品，涉及人工智能领域，尤其涉及语音技术、深度学习领域。具体实现方案为：通过将训练数据中多说话者的单通道混合音频的特征数据，输入语音识别模型，确定每一说话者对应的内容文本特征和输出文本信息；根据每一说话者对应的内容文本特征确定第一损失，并根据每一说话者的输出文本信息和实际文本信息确定第二损失；根据第一损失和第二损失更新语音识别模型的模型参数。本公开能增强不同说话人的特征差异，提高说话者分离的准确性。

技术领域

本公开涉及人工智能中的语音技术、深度学习等领域，尤其涉及一种语音识别及模型训练的方法、设备、存储介质及程序产品。

背景技术

在客服、会议、或其他多人对话场景里面，记录的音频通常是单声道混合音频，即一个音频文件里面包含至少2个说话者的声音，并且某些时候，会存在两人或多人同时说话。这样给音频转文字带来一定的困难：一方面是说话者特点的变化；另一方面是不同人的音频的重叠，即鸡尾酒效应；最后是没法对文字进行说话者区分。

目前，通常先对音频进行说话者分离，然后对分离后的音频进行语音转写，以得到对应的区分说话者的文本信息。但是，目前的说话者分离的方法，对于说话者重叠的情况分离效果差，导致一个音频多说话者场景下单声道混合音频的识别精度较低。

发明内容

本公开提供了一种用于语音识别及模型训练的方法、设备、存储介质及程序产品。

根据本公开的第一方面，提供了一种语音识别模型训练的方法，包括：

将训练数据中多说话者的单通道混合音频的特征数据，输入语音识别模型，通过所述语音识别模型确定每一说话者对应的内容文本特征，并对所述每一说话者对应的内容文本特征进行解码，得到每一说话者的输出文本信息；

根据所述每一说话者对应的内容文本特征确定第一损失，并根据每一说话者的输出文本信息和实际文本信息确定第二损失，其中，所述第一损失用于衡量不同说话者对应的内容文本特征之间的相似度，所述第二损失用于衡量同一说话者的输出文本信息和实际文本信息之间的差异；

根据所述第一损失和所述第二损失，更新所述语音识别模型的模型参数；

其中，所述语音识别模型用于根据输入的多说话者的单通道混合音频，识别出每一说话者的说话内容的文本信息。

根据本公开的第二方面，提供了一种语音识别的方法，包括：

获取待处理的多说话者的单通道混合音频的特征数据；

将所述特征数据输入训练好的语音识别模型，通过所述语音识别模型识别出每一说话者的说话内容的文本信息，其中，所述语音识别模型根据上述第一方面所述的方法训练得到；

输出所述每一说话者的说话内容的文本信息。

根据本公开的第三方面，提供了一种语音识别模型训练的设备，包括：

模型处理模块，用于将训练数据中多说话者的单通道混合音频的特征数据，输入语音识别模型，通过所述语音识别模型确定每一说话者对应的内容文本特征，并对所述每一说话者对应的内容文本特征进行解码，得到每一说话者的输出文本信息；

第一损失确定模块，用于根据所述每一说话者对应的内容文本特征确定第一损失，所述第一损失用于衡量不同说话者对应的内容文本特征之间的相似度；

第二损失确定模块，用于根据每一说话者的输出文本信息和实际文本信息确定第二损失，所述第二损失用于衡量同一说话者的输出文本信息和实际文本信息之间的差异；

参数更新模块，用于根据所述第一损失和所述第二损失，更新所述语音识别模型的模型参数；

其中，所述语音识别模型用于根据输入的多说话者的单通道混合音频，识别出每一说话者的说话内容的文本信息。