[发明专利]一种文本匹配方法、装置、计算机设备及存储介质

说明书

本发明公开了一种文本匹配方法、装置、计算机设备及存储介质，属于自然语言处理领域。方法包括：对用户输入文本进行处理，得到关键词组合和句式；对关键词组合和句式进行编码，得到关键词组合编码和句式编码，使用关键词组合编码和句式编码共同表征用户输入文本的语义；将语义在预先存储的语义集合中进行匹配，其中，语义集合中包含与多个预设文本分别对应的预设语义；若匹配成功，则将匹配成功的预设语义对应的预设文本确定为用户输入文本的匹配文本。本发明实施例在语义编码的基础上实现文本匹配，能够提高短文本相似性匹配的准确率和可解释性。

技术领域

本发明涉及自然语言处理领域，尤其涉及一种文本匹配方法、装置、计算机设备及存储介质。

背景技术

随着互联网数据量的暴增，通过传统的检索技术满足用户精细化的信息需求变得越来越难。为了能够更好地理解用户输入的信息，计算机需要更多地理解复杂的自然语言。互联网中已有并且还在飞速增长的海量数据包含了丰富的知识，如何将这些知识加工好并且准确地匹配到相应的问题，是一个非常具有挑战性的任务。完成这个匹配过程，传统的信息检索会对用户输入的问题(通常为短文本)和所有候选集的相关性做排序。而问答系统是将用户输入的问题和一个现有的<问题，答案>候选集匹配，匹配的方式可以是先在问题库中查找与用户问题相似的问题，再确定出相似问题对应的答案。

如何在问题库中查找与用户问题相似的问题，也就是短文本的语义相似度问题，现有问答系统中有多种实现方式，例如：

传统文本相似度算法将句子表示成关键词集上的一个0-1向量，使用tf-idf等度量调节权重，代表性算法为BM25。近年来，随着深度学习的突破和快速推广，一类以词向量做单词表示，用LSTM、注意力机制等技术框架为主体的相似度算法开始流行。另外一种算法是基于检索和用户点击反馈的逻辑，将相似度和用户的行为建立关联，从而确定相关性，代表性算法是DSSM。

然而，现有问答系统的上述多种实现方式均存在着诸多缺陷，具体如下：

以BM25为代表的传统算法依赖于比较完美的数据集。该数据集可以代表全局的统计规律。当所解决的问题是存在特定领域问题时，搜集这样的数据集是比较困难的。这类算法依赖于一个相对较大的数据集，而且因为它是基于文档的算法，在短文本上的相似度上会大打折扣。基于深度学习的相似度算法在效果上有较大提高，但缺点也很明显，模型的迭代升级会导致结果的不一致性，同时可解释性大大降低，无法明确知道为什么匹配到这个结果而不是那个结果，当发现不合理情况时，可以调整的空间非常有限。

因此，如何提高短文本相似性匹配的准确率和可解释性，成为本领域技术人员亟待解决的技术问题。

发明内容

有鉴于此，本发明实施例提供了一种文本匹配方法、装置、计算机设备及存储介质，通过在语义编码的基础上实现文本匹配，能够提高短文本相似性匹配的准确率和可解释性。

本发明实施例提供的具体技术方案如下：

第一方面，本发明提供一种文本匹配方法，所述方法包括：

对用户输入文本进行处理，得到关键词组合和句式；

对所述关键词组合和所述句式进行编码，得到关键词组合编码和句式编码，使用所述关键词组合编码和所述句式编码共同表征所述用户输入文本的语义；

将所述语义在预先存储的语义集合中进行匹配，其中，所述语义集合中包含与多个预设文本分别对应的预设语义；

若匹配成功，则将匹配成功的预设语义对应的预设文本确定为所述用户输入文本的匹配文本。

结合第一方面，在第一种可能的实现方式中，所述关键词组合的数量为多个，所述对用户输入文本进行处理，得到关键词组合和句式，包括：

对所述用户输入文本进行分词、过滤，获得多个词语；