[发明专利]特征词提取方法、文本相似度计算方法、装置和设备

说明书

本发明公开了一种特征词提取方法，包括：响应于对目标文本的分词指令，对所述目标文本进行分词，得到分词集合；组合所述分词集合中的各个所述分词，得到若干词组，其中，每个所述词组包括若干所述分词；计算所述词组的第一TF值和TF‑IDF值；计算组合所述词组的每个所述分词的第二TF值，得到若干所述第二TF值；利用所述TF‑IDF值、所述第一TF值和若干所述第二TF值计算所述词组的概率限定TF‑IDF值；选取排列在预定位置之前的所述概率限定TF‑IDF值对应的所述词组作为所述目标文本的特征词。本公开还提供了一种文本相似度计算方法、一种特征词提取装置、一种文本相似度计算装置一种计算机设备和一种计算机可读存储介质。

技术领域

本发明涉及计算机技术领域，具体涉及一种特征词提取方法、文本相似度计算方法、装置、计算机设备和计算机可读存储介质。

背景技术

特征词指的是最能代表文本的主题性和关键性内容的词或短语，其在很多领域都有着非常重要的应用。如，文本对比、文本分类、内容推送和搜索引擎等。但是，在大多数情况下，文本并没有直接给出其对应的特征词，因此提供一种特征词的提取方案非常必要。

然而，发明人在研究本发明的过程中发现，现有技术提供的特征词提取方案的准确性不高。

发明内容

本发明的目的在于提供一种特征词提取方法、文本相似度计算方法、装置、计算机设备和计算机可读存储介质，能够解决上述现有技术中的缺陷。

本发明的一个方面提供了一种特征词提取方法，包括：响应于对目标文本的分词指令，对所述目标文本进行分词，得到分词集合；组合所述分词集合中的各个所述分词，得到若干词组，其中，每个所述词组包括若干所述分词；计算所述词组的第一TF值和TF-IDF值；计算组合所述词组的每个所述分词的第二TF值，得到若干所述第二TF值；利用所述TF-IDF值、所述第一TF值和若干所述第二TF值计算所述词组的概率限定TF-IDF值；选取排列在预定位置之前的所述概率限定TF-IDF值对应的所述词组作为所述目标文本的特征词。

可选地，对所述目标文本进行分词，得到分词集合的步骤包括：对所述目标文本进行分词，得到组成所述目标文本的所有所述分词；清洗所有的所述分词，得到所述分词集合。

可选地，利用所述TF-IDF值、所述第一TF值和若干所述第二TF值计算所述词组的概率限定TF-IDF值的步骤包括：计算若干所述第二TF值的乘积，得到TF乘积；计算所述第一TF值和所述TF乘积的比值，得到词组概率值；利用所述TF-IDF值和所述词组概率值计算所述概率限定TF-IDF值。

本发明的另一个方面提供了一种文本相似性计算方法，包括：选取目标文本的特征词，其中，所述目标文本的所述特征词是通过上述任一项实施例所述的特征词提取方法选取的；将所述特征词输入第一文本检索库，得到若干第一文本；计算所述目标文本和若干所述第一文本的第一相似度，得到若干所述第一相似度；将若干所述第一相似度中满足第一相似度阈值的第一相似度对应的第一文本作为与所述目标文本相似的文本。

可选地，在所述将所述特征词输入第一文本检索库，得到若干第一文本的步骤之后，所述方法还包括：对所述特征词进行扩展，得到扩展词组集合，其中，所述扩展词组集合包括所述特征词和所述特征词的近义词，将所述扩展词组集合输入所述第一文本检索库，得到若干第二文本，对若干所述第一文本和若干所述第二文本取并集，得到若干第三文本；所述计算所述目标文本和若干所述第一文本的第一相似度，得到若干所述第一相似度的步骤包括：计算所述目标文本和若干所述第三文本的第二相似度，得到若干所述第二相似度；所述将若干所述第一相似度中满足第一相似度阈值的第一相似度对应的第一文本作为与所述目标文本相似的文本的步骤包括：将若干所述第二相似度中满足第二相似度阈值的第二相似度对应的第三文本作为与所述目标文本相似的文本。