[发明专利]数据生成方法、装置及可读存储介质

说明书

本公开涉及一种数据生成方法、装置及可读存储介质，该方法包括：对初始第一语言文本进行加噪处理，得到加噪后的第一语言文本；根据预训练语言模型对所述加噪后的第一语言文本进行处理，得到目标第一语言文本；对所述目标第一语言文本进行反翻译处理，得到第二语言文本；基于所述目标第一语言文本和所述第二语言文本，得到用于训练翻译模型的训练数据。本公开的方法可以提升训练翻译模型的训练数据的多样性，解决训练数据短缺的问题。

技术领域

本公开涉及人工智能技术领域，尤其涉及一种数据生成方法、装置及可读存储介质。

背景技术

机器翻译指的是通过计算机将源语言转换为目标语言的过程。随着机器学习和深度学习技术的发展，机器翻译从统计机器翻译逐渐走向神经机器翻译时代。对于神经机器翻译模型而言，训练翻译模型所使用的训练数据对模型的预测有十分重要的影响，因此，如何更好地构建翻译模型的训练数据，以提高翻译模型的翻译准确度，是亟待解决的问题。

发明内容

为克服相关技术中存在的问题，本公开提供一种数据生成方法、装置及可读存储介质。

根据本公开实施例的第一方面，提供一种数据生成方法，包括：

对初始第一语言文本进行加噪处理，得到加噪后的第一语言文本；

根据预训练语言模型对所述加噪后的第一语言文本进行处理，得到目标第一语言文本；

对所述目标第一语言文本进行反翻译处理，得到第二语言文本；

基于所述目标第一语言文本和所述第二语言文本，得到用于训练翻译模型的训练数据。

在一些实施例中，所述第一语言文本为篇章级文本，所述对所述目标第一语言文本进行反翻译处理，得到第二语言文本，包括：

对所述目标第一语言文本进行拆分，得到多个目标第一语言子文本；其中，所述第一语言子文本为句子级文本；

根据反向翻译模型，对所述多个目标第一语言子文本进行所述反翻译处理，得到多个第二语言子文本；

对所述多个第二语言子文本进行融合处理，得到所述第二语言文本。

在一些实施例中，所述对初始第一语言文本进行加噪处理，得到加噪后的第一语言文本，包括：

对所述初始第一语言文本进行删减替换加噪处理，得到加噪后的第一语言文本，所述加噪后的第一语言文本相对于所述初始第一语言文本缺失预设数量或预设位置的词。

在一些实施例中，所述对初始第一语言文本进行加噪处理，得到加噪后的第一语言文本，包括：

对所述初始第一语言文本进行乱序加噪处理，得到加噪后的第一语言文本，所述加噪后的第一语言文本相对于所述初始第一语言文本句子顺序或词序不同。

在一些实施例中，所述预训练语言模型为双向自回归变压器模型。

在一些实施例中，所述反向翻译模型通过如下方式训练得到：

获取多个训练样本；其中，每个所述训练样本包括样本第一语言子文本和样本第二语言子文本；其中，所述样本第一语言子文本和所述样本第二语言子文本为所述句子级文本；

基于多个训练样本迭代更新初始反向翻译模型的参数以减小各训练样本对应的损失函数值，得到训练好的反向翻译模型；

其中，各训练样本对应的损失函数值通过以下过程确定：

通过反向翻译模型处理所述样本第一语言子文本，得到预测的第二语言子文本；

至少基于所述预测的第二语言子文本和所述样本第二语言子文本的差异，确定损失函数值。