[发明专利]一种用于对话机器人的音意理解模型的训练方法及系统

权利要求书

1.一种用于对话机器人的音意理解模型的训练方法，其特征是：包括以下步骤：

S1、根据指定意图编写出训练词句；

S2、对所述训练词句的文本进行数据增强，生成若干种与所述训练词句意图相同的同义词句文本数据；

S3、对所述同义词句文本数据进行语音合成，得到相应的训练语音数据；

S4、使用所述训练语音数据训练基于深度神经网络的音意理解模型。

2.根据权利要求1所述的一种用于对话机器人的音意理解模型的训练方法，其特征是：S2中对所述训练词句的文本进行数据增强的方法包括：

W1、对所述训练词句中的字词进行同义词替换；

W2、对所述训练词句中的字词进行随机插入和/或随机删除；

W3、对所述训练词句中的字词顺序进行随机打乱；

W4、将所述训练词句翻译成另一种语言，再翻译回所述训练词句的原语言；

W5、使用预训练模型根据所述训练词句批量生成若干相似词句。

3.根据权利要求2所述的一种用于对话机器人的音意理解模型的训练方法，其特征是：W1中进行同义词替换的步骤如下：

W1.1、加载预先训练好的BERT语言模型；

W1.2、对每个所述训练词句中的字词用BERT模型获取相应词向量；

W1.3、根据词向量计算所述训练词句中的字词与词汇表中所有字词的词向量的余弦相似度；

W1.4、余弦相似度大于设定阈值的字词当作同义词返回；

W1.5、用同义词替换所述训练词句中对应位置的字词，生成若干个同义词句文本。

4.根据权利要求2所述的一种用于对话机器人的音意理解模型的训练方法，其特征是：W5中使用预训练模型根据所述训练词句批量生成若干相似词句的步骤如下：

W5.1、使用预先准备的大规模相似词句文本语料进行预训练，形成预训练模型；

W5.2、针对初始数据集的句子，调用上述预训练模型，批量生成相似词句。

5.根据权利要求1所述的一种用于对话机器人的音意理解模型的训练方法，其特征是：S3中对所述同义词句文本数据进行语音合成，得到相应的训练语音数据的步骤中包括以下子步骤：

S3.1、把所述同义词句文本数据转为带音调的拼音音节；

S3.2、把所述同义词句文本数据包含的每个词转换表示为一个整数；

S3.3、由词向量模型将表示为整数的词构成词嵌入矩阵；

S3.4、将所述词嵌入矩阵输入训练好的双向LSTM Seq2seq模型生成中间表示；

S3.5、通过训练好的声码器把所述中间表示转换成所述训练语音数据。

6.根据权利要求1所述的一种用于对话机器人的音意理解模型的训练方法，其特征是：S4中的音意理解模型的训练包括以下子步骤：

S4.1、接收包含意图标签的训练语音数据；

S4.2、使用卷积神经网络提取所述训练语音数据的语音特征；

S4.3、使用循环神经网络提取所述训练语音数据的音素、字素特征；

S4.4、将提取到的语音特征和音素、字素特征导入循环神经网络中进行音意理解模型训练；

S4.5、针对输入的所述训练语音数据进行模型参数的调整，完成对音意理解模型的训练。

7.一种适用于权利要求1所述方法的用于对话机器人的音意理解模型的训练系统，其特征在于，包括：

意图确认和词句编写模块：根据实际应用确定好待识别的意图；针对所有指定意图编写训练词句，将所有所述训练词句形成初始数据集；

文本数据增强模块：对初始数据集中的所有训练词句的文本进行数据增强，生成若干同义词句文本数据；

组合筛选模块：对所述文本数据增强模块生成的所有同义词句文本数据进行组合筛选；

语音合成模块：对经过所述组合筛选模块处理的所有同义词句文本数据进行语音合成，得到训练语音数据；

模型训练模块：使用所述训练语音数据训练所述音意理解模型。