[发明专利]一种相似文本数据集生成方法及装置

说明书

本发明涉及一种相似文本数据集生成方法及装置，属于自然语言文本智能分析技术领域，解决了现有相似文本数据集生成方法存在的生成效率低、相似度差等问题。包括如下步骤：利用第一转换模型，将原文本转换为与所述原文本相关的第一文本集；利用第二转换模型，将得到的所述第一文本集中的每一文本分别转换为与所述每一文本相关的第二文本集；从所述第二文本集中选择与原文本相似的文本，将所述选择结果作为原文本的相似文本数据集；所述第一转换模型与所述第二转换模型采用不同的转换方式。实现了相似文本数据集的快速生成，且生成的相似文本数据集中的各文本与原文本相似度较高。

技术领域

本发明涉及自然语言文本智能分析技术领域，尤其涉及一种相似文本数据集生成方法及装置。

背景技术

目前，获得高质量的相似文本数据主要还是依靠人力筛选，想获得大量的数据就要使用大量的人力，因此会消耗大量的人力以及财力。而且，不同的人因为认知的不同，标记存在主观意识，可能两句话一个人觉得相似，另一个人觉得不相似，尤其是在专业领域，很多文本的含义需要大量思考和专业知识。

因此，现有技术中的相似文本数据集生成方法，普遍存在生成效率低、相似度较差等问题。

发明内容

鉴于上述的分析，本发明旨在提供一种相似文本数据集生成方法及装置，用以解决现有相似文本数据集生成方法存在的生成效率低、相似度差等问题。

本发明的目的主要是通过以下技术方案实现的：

一方面，提供了一种相似文本数据集生成方法，包括如下步骤：

利用第一转换模型，将原文本转换为与所述原文本相关的第一文本集；

利用第二转换模型，将得到的所述第一文本集中的每一文本分别转换为与所述每一文本相关的第二文本集；

从所述第二文本集中选择与原文本相似的文本，将所述选择结果作为原文本的相似文本数据集；

所述第一转换模型与所述第二转换模型采用不同的转换方式。

在上述方案的基础上，本发明还做了如下改进：

进一步，所述第一转换模型、第二转换模型分别为翻译方式不同的翻译模型：

所述第一转换模型包括多个翻译子模型，不同的翻译子模型翻译侧重的方向不同；利用所述多个翻译子模型分别将原文本由原语言转换为侧重方向不同、同一中介语言表示的文本，得到由同一中介语言表述的第一文本集；

所述第二转换模型，用于将所述第一文本集中的每一文本，由中介语言转换为原语言，得到由原语言表述的第二文本集。

进一步，所述第一转换模型、第二转换模型分别为翻译方式不同的翻译模型：

所述第一转换模型包括N个翻译子模型，不同的翻译子模型分别用于将原文本由原语言转化为不同的中介语言，得到由多种中介语言表述的第一文本集；

所述第二转换模型也包括N个翻译子模型，分别与第一转换模型中的N个翻译子模型对应设置，不同的翻译子模型分别用于将所述第一文本集中的每一文本由中介语言转换为原语言，得到由原语言表述的第二文本集。

进一步，利用不同的损失函数及惩罚机制训练所述第一转换模型、所述第二转换模型；

利用所述原语言与所述中介语言对应的第一平行数据训练所述第一转换模型；

利用所述中介语言与所述语言对应的第二平行数据训练所述第二转换模型；

其中，所述第一平行数据与第二平行数据为不同数据。

进一步，执行以下操作，获取所述第二文本集中与原文本相似的文本，得到原文本的相似文本数据集：