[发明专利]多模型联合去噪训练

权利要求书

1.一种用于多模型联合去噪训练的方法，包括：

获得多个模型；

通过所述多个模型来对一组训练样本进行去噪；以及

利用经去噪的一组训练样本来训练所述多个模型。

2.根据权利要求1所述的方法，其中，所述一组训练样本来自训练数据集合，所述训练数据集合包括源训练语料、至少一个翻译训练语料和至少一个生成训练语料中的两个或更多个。

3.根据权利要求1所述的方法，其中，所述一组训练样本基于相同语言或者不同语言。

4.根据权利要求1所述的方法，还包括：

利用多个初始化数据组来初始化所述多个模型，所述多个初始化数据组是由包括所述一组训练样本的训练数据集合中的至少一个训练语料形成的。

5.根据权利要求1所述的方法，其中，所述一组训练样本对应于训练数据集合。

6.根据权利要求1所述的方法，其中，所述一组训练样本对应于训练数据集合中的多个训练数据子集中的一个训练数据子集，所述多个训练数据子集用于迭代地执行所述去噪和所述训练。

7.根据权利要求6所述的方法，其中，在每一次迭代中：

所述去噪包括：通过所述多个模型来对一个训练数据子集进行去噪，并且

所述训练包括：利用经去噪的训练数据子集来训练所述多个模型。

8.根据权利要求1、5和6中任一项所述的方法，其中，所述对一组训练样本进行去噪包括：

对于所述多个模型中的每个模型，通过所述多个模型中的其他模型来从所述一组训练样本中选择针对所述模型的训练样本。

9.根据权利要求8所述的方法，其中，所述选择针对所述模型的训练样本包括：

通过所述其他模型来从所述一组训练样本中滤除预定比例的训练样本；以及

将所述一组训练样本中的剩余训练样本确定为针对所述模型的训练样本。

10.根据权利要求1、5和6中任一项所述的方法，其中，所述对一组训练样本进行去噪包括：

对于所述一组训练样本中的每个训练样本，通过所述多个模型来确定所述训练样本的用于计算训练损失的权重。

11.根据权利要求10所述的方法，其中，所述确定所述训练样本的权重包括：

根据由所述多个模型基于所述训练样本所获得的多个预测结果的一致性来确定所述权重。

12.根据权利要求1、5和6中任一项所述的方法，还包括：

通过经训练的多个模型来对所述一组训练样本进行进一步去噪。

13.根据权利要求12所述的方法，其中，所述对所述一组训练样本进行进一步去噪包括：

通过经训练的多个模型来更新所述一组训练样本中的一个或多个训练样本的标注。

14.根据权利要求13所述的方法，其中，所述更新标注包括，对于所述一个或多个训练样本中的每个训练样本：

获取由经训练的多个模型基于所述训练样本所获得的多个预测结果；以及

基于所述多个预测结果来更新所述训练样本的标注。

15.根据权利要求13所述的方法，其中，所述一个或多个训练样本来自翻译训练语料和/或生成训练语料。

16.根据权利要求1所述的方法，其中，所述一组训练样本对应于训练数据集合，所述训练数据集合用于多轮地执行所述去噪和所述训练。