[发明专利]文本差异识别方法和装置

权利要求书

1.一种文本差异识别方法，其特征在于，包括：

获取待进行比对的文字集合，其中，所述文字集合的数量至少为两个，每个文字集合中包括多个文字；

将所述文字集合输入到分类模型中，得到分类结果；

将所述分类结果传入检索重排序层，得到基于重排序的分数；

将所述基于重排序的分数进行LambdaMART训练，得到训练结果；

基于所述训练结果，输出差异文本。

2.根据权利要求1所述的方法，其特征在于，在将所述文字集合输入到分类模型中，得到分类结果之前，所述方法还包括：

对所述待进行比对的文字集合进行特征筛选，得到每个集合的特征数据，

其中，在得到每个集合的特征数据之后，将每个集合的特征数据输入到分类模型中，得到分类结果。

3.根据权利要求1所述的方法，其特征在于，将所述文字集合输入到分类模型中，得到分类结果包括：

将所述文字集合输入到所述分类模型中，根据TF-IDF特征、编辑距离、TF-IDF加权word2vec特征和上下文特征对所述文字集合进行分类，得到分类结果。

4.根据权利要求3所述的方法，其特征在于，在得到分类结果之后，所述方法还包括：

将所述分类结果分为三种类型，其中，所述三种类型包括逻辑一样，逻辑不一样和完全不一样，其中，在逻辑一样时，确定结果指数为1，在逻辑不一样时，确定结果指数为0，在完全不一样时，确定结果指数为-1；

将所述结果指数为1的分类结果确定为正样本；

将所述结果指数为-1的分类结构确定为负样本。

5.根据权利要求4所述的方法，其特征在于，在所述正样本和所述负样本确定完成之后，所述方法还包括：

对所述正样本和所述负样本进行GBDT训练，得到GBDT训练结果；

对所述GBDT训练结果进行LambdaMART训练，得到所述训练结果；

根据所述训练结果输出所述文字集合中的差异文本。

6.一种文本差异识别装置，其特征在于，包括：

获取单元，用于获取待进行比对的文字集合，其中，所述文字集合的数量至少为两个，每个文字集合中包括多个文字；

输入单元，用于将所述文字集合输入到分类模型中，得到分类结果；

排序单元，用于将所述分类结果传入检索重排序层，得到基于重排序的分数；

训练单元，用于将所述基于重排序的分数进行LambdaMART训练，得到训练结果；

输出单元，用于基于所述训练结果，输出差异文本。

7.根据权利要求6所述的装置，其特征在于，所述装置还包括：

筛选单元，用于在将所述文字集合输入到分类模型中，得到分类结果之前，对所述待进行比对的文字集合进行特征筛选，得到每个集合的特征数据，

其中，在得到每个集合的特征数据之后，将每个集合的特征数据输入到分类模型中，得到分类结果。

8.根据权利要求6所述的装置，其特征在于，所述输入单元用于：

将所述文字集合输入到所述分类模型中，根据TF-IDF特征、编辑距离、TF-IDF加权word2vec特征和上下文特征对所述文字集合进行分类，得到分类结果。

9.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行权利要求1至5中任意一项所述的文本差异识别方法。

10.一种设备，其特征在于，所述设备至少包括一个处理器，以及与所述处理器连接的至少一个存储器、总线，其中，所述处理器、所述存储器通过所述总线完成相互间的通信，所述处理器用于调用所述存储器中的程序指令，以执行权利要求1至5中任意一项所述的文本差异识别方法。