[发明专利]对比序列到序列数据选择器

说明书

方法(1000)包括，通过用数据对(133)的第一数据集(132)进行训练来生成基础模型(134)，通过在数据对(143)的第二数据集(142)上训练该基础模型而生成适应模型(144)。该方法还包括，使用该基础模型和该适应模型确定数据对的第三数据集(152)的每个数据对(153)的对比得分(154)。对比得分指示相应数据对的质量概率。该方法还包括，使用第三数据集的数据对和对比得分来训练目标模型(230)。

技术领域

本公开涉及用于在噪声数据上训练神经翻译模型的对比序列到序列数据选择器。

背景技术

神经翻译模型会学习在翻译上分布概率质量。模型训练器通常用并行数据来训练模型，这样可信度较高的翻译比可信度较低的翻译得到的概率更高。如果在噪声较多的并行数据上进行训练，则学习到的分布会不准确，进而产生不精确的翻译。

但是，干净且匹配测试域的大规模高质量数据是很稀有的。自动数据挖掘器通常会产生并行数据，而语句对齐器会处理该并行数据。并行数据的处理可能会给并行数据引入严重的噪声。通常，训练器通过训练卷积网络，用少量的干净数据(或域内数据)对好数据或坏数据进行分类，以将这个问题作为分类问题来解决。然后，训练器使用选定的数据来训练一个具有与选择器不同架构的系统。因此，选择器识别为好数据的数据对最终模型来说不一定是好数据。

发明内容

本公开的一个方面提供了一种用于训练目标模型的方法。该方法包括：由数据处理硬件，通过使用数据对的第一数据集进行训练来生成基础模型，以及由数据处理硬件，通过在数据对的第二数据集上训练基础模型而生成适应模型。该方法还包括，由数据处理硬件，使用基础模型和适应模型确定数据对的第三数据集的每个数据对的对比得分。对比得分指示相应数据对的质量概率。该方法还包括通过数据处理硬件使用第三数据集的数据对和对比得分来训练目标模型。

本公开的实现可以包括以下可选特征中的一个或多个。在一些实施方式中，训练目标模型还包括使用第三数据集的满足阈值对比得分的数据对。在一些示例中，该方法还包括：由数据处理硬件确定目标模型与基础模型的大小相同；以及由数据处理硬件将基础模型替换为适应模型；由数据处理硬件将适应模型替换为目标模型；由数据处理硬件使用基础模型和替换后的适应模型，确定数据对的第四数据集的每个数据对的对比得分；由数据处理硬件使用第四数据集的数据对和对比得分训练后续的目标模型。在其他示例中，目标模型大于基础模型。

第一数据集可以包括随机数据。在此，当第一数据集包括随机数据时，第二数据集可以包括比第一数据集的随机数据更干净的数据。另外地或可替代地，对比得分可以包括Kullback-Leibler(KL)散度和/或每个数据集可以包括语句语言对。

在一些实施方式中，该方法还包括由数据处理硬件基于各自的对比得分对第三数据集的数据对进行排序。在这些示例中，训练目标模型可以进一步包括生成多个数据批并使用每个数据批来训练目标模型。在此，每个数据批包括至少一个数据对，并且其中将选择数据对包括在选择数据批中的概率是基于选择数据对的各自的对比得分的，并且其中该概率随着各自的对比得分增加而增加。此外，在这些示例中，生成多个数据批可以包括：确定每个数据批的选择率；根据选择率和第三数据集中的数据对数量确定每个数据批的批大小；从第三数据集中选择与确定的批大小相对应的数据对的数量；根据各自的对比得分对所选数据对进行排序；从数据批中去除具有最低对比得分的所选数据对的去除率，该去除率包括选择率的倒数。选择率可能会随着训练时间而降低。在这种情况下，批大小可以等于固定批大小除以选择率。

本公开的另一方面提供了一种用于训练目标模型的系统。该系统包括数据处理硬件和与数据处理硬件通信并存储指令的存储器硬件，该指令在由数据处理硬件执行时使数据处理硬件执行操作。这些操作包括，通过使用数据对的第一数据集来训练以生成基础模型，通过在数据对的第二数据集上训练基础模型而生成适应模型。这些操作还包括，使用基础模型和适应模型确定数据对的第三数据集的每个数据对的对比得分。对比得分指示相应数据对的质量概率。这些操作还包括，使用第三数据集的数据对和对比得分来训练目标模型。