[发明专利]模型训练、文本处理方法、装置以及设备

权利要求书

1.一种模型训练方法，其特征在于，包括：

获取源语言构成的第一训练文本；

获取至少一种目标语言构成的第二训练文本；其中，所述源语言与任一种目标语言不同，所述第一训练文本的数量大于第二训练文本的数量；

获取所述第一训练文本的第一词向量以及所述第二训练文本的第二词向量；

基于所述第一词向量与所述第二词向量语义相同的训练结果，利用所述第一词向量以及所述第二词向量训练文本识别模型；

其中，所述文本识别模型用以基于至少一种目标语言的待处理文本从源语言的知识库中查找与所述待处理文本匹配的目标文本，以获得所述目标文本对应的应答内容；

所述基于所述第一词向量与所述第二词向量语义相同的训练结果，利用所述第一词向量以及所述第二词向量训练文本识别模型包括：

构建文本识别模型的编码器以及分类器；

利用所述编码器，将所述第一词向量转换为第一句向量以及所述第二词向量转换为第二句向量；

将所述第一句向量以及所述第二句向量作为分类参数输入所述分类器；

基于所述分类器对所述第一句向量以及所述第二句向量的语义分类结果，调整所述编码器以及所述分类器，返回至所述利用所述编码器，将所述第一词向量转换为第一句向量以及所述第二词向量转换为第二句向量的步骤继续执行，直至所述分类器对所述第一句向量以及所述第二句向量的语义分类结果相同。

2.根据权利要求1所述的方法，其特征在于，所述基于所述分类器对所述第一句向量以及所述第二句向量的语义分类结果，调整所述编码器以及所述分类器，返回至所述利用所述编码器，将所述第一词向量转换为第一句向量以及所述第二词向量转换为第二句向量的步骤继续执行，直至所述分类器对所述第一句向量以及所述第二句向量的语义分类结果相同包括：

构建分类损失函数以及编码损失函数；

获取所述分类器对所述第一句向量以及所述第二句向量的语义分类结果；

将所述语义分类结果输入所述分类损失函数，获得针对所述语义分类结果的分类损失评价结果；

如果所述分类损失评价结果不满足预设的分类损失条件，重新训练所述分类器，并返回至所述获取所述分类器对所述第一句向量以及所述第二句向量的语义分类结果的步骤继续执行；

如果所述分类损失评价结果满足预设的损失条件，将所述语义分类结果输入所述编码损失函数，获得编码损失评价结果；

如果所述编码损失评价结果满足预设的编码损失条件，确定所述分类器对所述第一句向量以及所述第二句向量的语义分类结果相同，获得文本识别模型；

如果编码损失评价结果不满足预设的编码损失条件，重新训练所述编码器；并返回至所述利用所述编码器，将所述第一词向量转换为第一句向量以及所述第二词向量转换为第二句向量的步骤继续执行，直至所述损失评价结果满足预设的损失条件。

3.根据权利要求2所述的方法，其特征在于，所述如果编码损失评价结果不满足预设的编码损失条件，重新训练所述编码器包括：

如果所述损失评价结果不满足预设的损失条件，将所述第一句向量翻译为至少一种目标语言各自对应的目标翻译文本，以及将所述第二句向量翻译为源语言对应的源翻译文本；

基于所述至少一种目标语言各自对应的目标翻译文本以及所述源翻译文本，重新训练所述编码器，以更新所述编码器。

4.根据权利要求1所述的方法，其特征在于，所述获取所述第一训练文本的第一词向量以及所述第二训练文本的第二词向量包括：

获取所述源语言以及所述至少一种目标语言对应的词向量库；其中，所述词向量库中基于所述源语言的第三训练文本以及所述至少一种目标语言的第四训练文本事先交叉训练获得；

查询所述词向量库中与所述第一训练文本各个分词匹配的第一词向量；

查询所述词向量库中与所述第二训练文本各个分词匹配的第二词向量。