[发明专利]一种基于动词的中文文本相似度计算方法

说明书

本发明涉及一种基于动词的中文文本相似度计算方法，包括以下步骤：S1：获取需要进行相似度计算的第一文本和第二文本，并进行预处理；S2：分别对预处理完成的第一文本和第二文本的提取动词序列；S3：基于动词序列计算第一文本与第二文本的语法相似度f₁；S4：基于预处理完成的第一文本和第二文本，计算两文本的语义相似度f₂；S5：结合语法相似度和语义相似度计算第一文本和第二文本的文本间相似度f，与现有技术相比，本发明具有提高计算精确度和计算速度等优点。

技术领域

本发明涉及语义分析技术领域，尤其是涉及一种基于动词的中文文本相似度计算方法。

背景技术

在信息处理中，文本相似度的计算广泛应用于信息检索、机器翻译、自动问答系统和文本挖掘等领域，是一个非常基础而关键的问题，长期以来一直是人们研究的热点和难点。

近年来，一些方法提出利用文本相似度计算对已签订的合同进行智能评审，实现对合同文本中潜在的法律风险进行自动预警，使中文文本相似度计算方法的应用得到进一步的扩展应用，也对中文文本相似度计算提出了新的要求。

目前文本相似度计算方法包括基于字符串的方法、基于本体的方法和基于语料库的方法等，其中基于字符串的方法仅从字面上考虑了字符串的匹配或者共现，没有考虑到文本中包含的语义信息，基于本体的方法受限于人类构建的本体规模，不在本体中的词语无法计算相似度，而基于语料库的方法通过神经网络训练词向量，把句子表示成向量形式，在一定程度上能够捕获文本中的语法和语义的信息。

但是这些方法均没有结合汉语语言学以及自然语言处理的规律与经验，且没有有效结合，不能高效、准确地进行中文文本相似度的计算。而合同评审关系到签订双方的重要利益，如电网工程建设中，合同条款的制定是十分重要的环节，如果此类条款存在责任不明确等问题，就会存在引起纠纷并导致损失等风险，需要进行准确精细的审批。所以目前的中文文本相似度计算方法不能适用于合同智能评审，需要设计一种新的中文文本相似度计算方法，高效、准确地进行中文文本相似度的计算。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种提高计算精确度和计算速度的基于动词的中文文本相似度计算方法。

本发明的目的可以通过以下技术方案来实现：

一种基于动词的中文文本相似度计算方法，包括以下步骤：

S1：获取需要进行相似度计算的第一文本和第二文本，并进行预处理；

S2：分别对预处理完成的第一文本和第二文本的提取动词序列；

S3：基于动词序列计算第一文本与第二文本的语法相似度f₁；

S4：基于预处理完成的第一文本和第二文本，计算两文本的语义相似度f₂；

S5：结合语法相似度和语义相似度计算第一文本和第二文本的文本间相似度f。

进一步地，所述的预处理具体包括：对第一文本和第二文本进行分词，并去除停用词。

在分词的过程中，我们可以发现一些对文本内容意义不大但出现频率很高的词、符号和标点等。如“这、的、也、对、了、吗”等词基本上都会出现在任何一篇汉语文章中，但把这些词运用到文章中似乎并没有什么意义，它们在文章中的地位也变得可有可无，去除它们也并不影响文章所要表达的具体含义以及它的可读性。因此这些词就作为停用词在预处理的过程中进行取出，本发明采用四川大学机器智能实验室的停用词库，通过构造一个去除词表(Remove Words List)，过滤掉这些无意义词。

进一步地，所述的步骤S3具体包括：

S31：将第一文本和第二文本的动词序列分别作为第一文本特征字符串和第二文本特征字符串；