[发明专利]一种基于词语覆盖度的文本相似度的运算方法及系统

说明书

本发明涉及一种基于词语覆盖度的文本相似度的运算方法、系统、服务器及存储介质，所述方法运用分词器对弹幕库的弹幕进行分词，再运用TF‑IDF公式及改进‑余弦相似度公式计算弹幕的词向量矩阵以及任意两个弹幕之间的特征词覆盖度，最后得出文本相似度结果，由此降低噪音的干扰。

技术领域

本发明涉及大数据领域，具体涉及一种基于词语覆盖度的文本相似度的运算方法、系统、服务器及存储介质。

背景技术

在信息时代，人们迫切希望从海量信息中获取与自身需要和兴趣吻合度高的内容。为了满足此需求，出现了多种应用，如搜索引擎、自动问答系统、文档分类与聚类、文献查重、文献精准推送等，而这些应用场景的关键技术之一就是文本相似度计算技术，在直播间的弹幕的文本相似度，通常使用的是余弦相似度运算方法、或者欧式距离，通过空间距离判断文本的相似度，这些运算方法都有缺陷，均没有考虑文本间相同的特征词进行统计，会导致运算结果错误率较高。

发明内容

鉴于现有技术存在的问题，本发明的目的是提供一种基于词语覆盖度的文本相似度的运算方法、系统、服务器及存储介质，运用分词器对弹幕库的弹幕进行分词，再运用TF-IDF公式及改进-余弦相似度公式计算弹幕的词向量矩阵以及任意两个弹幕之间的特征词覆盖度，最后得出文本相似度结果。

为了实现上述目的，本发明采用的技术方案为一种基于词语覆盖度的文本相似度的运算方法，所述方法包括以下步骤：

S1、运用分词器对弹幕库的各条弹幕进行分词；

S2、运用第一公式，计算步骤S1中各条弹幕的词向量矩阵，并基于词向量矩阵，将各条弹幕进行向量化的表示；

S3、选取步骤2中向量化表示的任意两个弹幕，计算任意两个弹幕间特征词的相互覆盖度，并结合第二公式，计算所述两个弹幕之间的相似度。

在上述技术方案中，所述步骤S1中，所述分词器还去除弹幕中停用词。

在上述技术方案中，所述步骤S2中，所述第一公式为：，其中，表示第i句文本中第j个词的TF-IDF权重，表示第i句文本中第j个词的词频，表示总的文本数，表示出现第j个词的总文本数。

在上述技术方案中，所述步骤S3中，所述第二公式为改进的余弦相似度公式：，其中，将短语A通过TF-IDF向量化表示，同理，n 表示的维数，所述维数即为向量的数量，表示句子A、B的相同特征词个数，表示特征词数较少的文本长度，表示的句子中互不重复的特征词数。

在上述技术方案中，所述步骤S3中所述相互覆盖度包括任意两个弹幕之间的相同的特征词，两个弹幕的长度以及两个弹幕互不重复词语长度。

本发明还公开一种基于词语覆盖度的文本相似度的运算系统，所述系统包括分词模块、第一计算模块、第二计算模块：

分词模块，用于运用分词器对弹幕库的各条弹幕进行分词；

第一计算模块，用于运用第一公式，计算分词模块中各条弹幕的词向量矩阵，并基于词向量矩阵，将各条弹幕进行向量化的表示；

第二计算模块，用于选取第一计算模块中向量化表示的任意两个弹幕，计算任意两个弹幕间特征词的相互覆盖度，并结合第二公式，计算所述两个弹幕之间的相似度。

在上述技术方案中，所述分词模块中，所述分词器还去除弹幕中停用词。

在上述技术方案中，所述第二计算模块中所述相互覆盖度包括任意两个弹幕之间的相同的特征词，两个弹幕的长度以及两个弹幕互不重复词语长度。：

本发明还公开一种基于词语覆盖度的文本相似度的运算系统的服务器，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述一种基于词语覆盖度的文本相似度的运算方法的步骤。