[发明专利]一种长短不一的文本在不同粒度下的文本匹配方法及装置

说明书

本发明涉及自然语言处理领域，提供了一种长短不一的文本在不同粒度下的文本匹配方法及装置，对于短短文本、短长文本和长长文本三种长度类型的文本对在两种匹配粒度下进行文本的匹配，一种是粗粒度的匹配，只需要两个文本是属于同一话题，另一种是细粒度的匹配，要求两个文本必须描述的同一事件。本发明目的在于解决不同匹配粒度、多个子任务、类别不平衡以及需要处理超长的文本的问题。本发明的主要方案包括，1)准备数据集；2)数据增强；3)在特定任务数据集上继续预训练；4)对长文本进行处理；5)设计多任务框架；6)多任务权重优化；7)神经网络模型结构的微调与训练。本发明用于长短不一的文本在不同粒度下的文本匹配。

技术领域

本发明长短不一的文本在不同粒度下的文本匹配，可用于不同长度的文本对在粗细两种粒度下的匹配，本发明属于自然语言处理的文本匹配领域。

背景技术

文本匹配是自然语言处理中一个重要的基础问题，可以应用于大量的NLP任务中，如信息检索、问答系统、复述问题、对话系统、机器翻译等，这些NLP任务在很大程度上可以抽象为文本匹配问题。例如网页搜索可抽象为网页同用户搜索Query的一个相关性匹配问题，自动问答可抽象为候选答案与问题的满足度匹配问题，文本去重可以抽象为文本与文本的相似度匹配问题。

传统的文本匹配技术有BoW、VSM、TF-IDF、BM25、Jaccord、SimHash等算法，如BM25算法通过网络字段对查询字段的覆盖程度来计算两者间的匹配得分，得分越高的网页与查询的匹配度更好。主要解决词汇层面的匹配问题，或者说词汇层面的相似度问题。而实际上，基于词汇重合度的匹配算法有很大的局限性，包括语义局限、结构局限和知识局限。例如语义局限：“的士”和“出租车”虽然字面上不相似，但实际为同一种交通工具；“苹果”在不同的语境下表示不同的东西，或为水果或为公司。因此，对于文本匹配任务，不能只停留在字面匹配层面，更需要语义层面的匹配。而语义层面的匹配，首先面临语义如何表示，如何计算的问题。

近年来将深度神经网络模型应用于自然语言处理任务取得了显著的效果，基于神经网络的深度模型可以很好的对词向量进行语义上面的表示。早期的词袋模型word2vec通过使用周围的词来预测中心词以及利用中心词预测周围的词来学习词的表达，但是这是一种静态的词向量，即学习好的词向量在不同语境下都是同样的表达，不同解决一词多义的场景。而在2018年谷歌提出的bert模型则很好的解决了一词多义的问题，其采用的transformer的结构可以使得词向量能够很好的加入上下文的语义，同时应用于下游任务的时候是应用的整个网络，而不是像word2vec那样只是用到了embedding层，这样的动态结构就能够根据不同上下文对同一个词给出不同的表达。

发明内容

针对上述技术问题，本发明的目的在于解决不同匹配粒度、多个子任务、类别不平衡以及需要处理超长的文本的问题。

本发明采取的技术方案如下：

一种长短不一的文本在不同粒度下的文本匹配方法，包括以下步骤，

步骤1、准备数据集，对不同匹配粒度下的文本对按照匹配粒度的粗细打上标签；

步骤2、对步骤1的数据集进行数据增强，增加模型的泛化能力；

步骤3、在进行数据增强后的数据集上进行模型预训练，得到预训练模型；

步骤4、对步骤2进行数据增强后的数据集中的长文本进行截断处理，得到长文本截断之后的文本；

步骤5、设计多任务框架，不同模型训练任务之间信息还相互补充；

步骤6、对多任务框架的权重优化，继续进行神经网络模型训练；

步骤7、基于权重优化后的多任务框架进行神经网络模型结构的微调与训练，得到具备判断文本对在不同粒度下是否相似的神经网络模型。

上述技术方案中，步骤1包括以下步骤：