[发明专利]文本差异识别方法和装置

说明书

本发明公开了一种文本差异识别方法和装置。该方法包括：获取待进行比对的文字集合，其中，文字集合的数量至少为两个，每个文字集合中包括多个文字；将文字集合输入到分类模型中，得到分类结果；将分类结果传入检索重排序层，得到基于重排序的分数；将基于重排序的分数进行LambdaMART训练，得到训练结果；基于训练结果，输出差异文本。通过本发明，达到了提高文本差异识别方法的准确率的效果。

技术领域

本发明涉及电力领域，具体而言，涉及一种文本差异识别方法和装置。

背景技术

文本匹配是自然语言理解中的一个核心问题。对文本匹配的研究可以应用到大量已知的自然语言处理任务中，例如信息检索、自动问答、机器翻译、对话系统、复述问题等等。这些自然语言处理的任务都可以在一定程度上抽象成文本匹配问题，这些匹配需要关注的特性具有很大不同，如何利用一个较好的文本匹配模型，针对不同任务找到最适合的匹配方式，成为研究文本匹配这个核心问题最大的挑战。

目前，国内外参考文献中的特征筛选主要使用的三类特征为：传统统计自然语言处理特征、上下文特征和现代机器学习特征。建立文件差异性检验模型有两种解决方法：字面相似度模型和判别式算法。

但是现有方案有以下缺陷：

(a)差异性检索召回层仅仅考虑了句子之间的匹配程度，没有考虑到两篇文章的匹配应该作为整体来进行考虑；

(b)检索结果往往无法明确的区分语义“完全一致”和“存在部分差异”之间的区别。

针对相关技术中文本差异识别方法不准确的问题，目前尚未提出有效的解决方案。

发明内容

本发明的主要目的在于提供一种文本差异识别方法和装置，以解决文本差异识别方法不准确的问题。

为了实现上述目的，根据本发明的一个方面，提供了一种文本差异识别方法，该方法包括：获取待进行比对的文字集合，其中，所述文字集合的数量至少为两个，每个文字集合中包括多个文字；将所述文字集合输入到分类模型中，得到分类结果；将所述分类结果传入检索重排序层，得到基于重排序的分数；将所述基于重排序的分数进行LambdaMART训练，得到训练结果；基于所述训练结果，输出差异文本。

进一步地，在将所述文字集合输入到分类模型中，得到分类结果之前，所述方法还包括：对所述待进行比对的文字集合进行特征筛选，得到每个集合的特征数据，其中，在得到每个集合的特征数据之后，将每个集合的特征数据输入到分类模型中，得到分类结果。

进一步地，将所述文字集合输入到分类模型中，得到分类结果包括：将所述文字集合输入到所述分类模型中，根据TF-IDF特征、编辑距离、TF-IDF加权word2vec特征和上下文特征对所述文字集合进行分类，得到分类结果。

进一步地，在得到分类结果之后，所述方法还包括：将所述分类结果分为三种类型，其中，所述三种类型包括逻辑一样，逻辑不一样和完全不一样，其中，在逻辑一样时，确定结果指数为1，在逻辑不一样时，确定结果指数为0，在完全不一样时，确定结果指数为-1；将所述结果指数为1的分类结果确定为正样本；将所述结果指数为-1的分类结构确定为负样本。

进一步地，在所述正样本和所述负样本确定完成之后，所述方法还包括：对所述正样本和所述负样本进行GBDT训练，得到GBDT训练结果；对所述GBDT训练结果进行LambdaMART训练，得到所述训练结果；根据所述训练结果输出所述文字集合中的差异文本。