[发明专利]一种基于词语覆盖度的文本相似度的运算方法及系统

权利要求书

1.一种基于词语覆盖度的文本相似度的运算方法，其特征在于，所述方法包括以下步骤：

S1、运用分词器对弹幕库的各条弹幕进行分词；

S2、运用第一公式，计算步骤S1中各条弹幕的词向量矩阵，并基于词向量矩阵，将各条弹幕进行向量化的表示；

S3、选取步骤2中向量化表示的任意两个弹幕，计算任意两个弹幕间特征词的相互覆盖度，并结合第二公式，计算所述两个弹幕之间的相似度；

所述步骤S3中，所述第二公式为改进的余弦相似度公式：

其中，将短语通过TF-IDF向量化表示，同理，n表示的维数，所述维数即为向量的数量，m_A,B表示句子A、B的相同特征词个数，min(m_A,B)表示特征词数较少的文本长度，λ表示的句子中互不重复的特征词数。

2.根据权利要求1所述一种基于词语覆盖度的文本相似度的运算方法，其特征在于，所述步骤S1中，所述分词器还去除弹幕中停用词。

3.根据权利要求1所述一种基于词语覆盖度的文本相似度的运算方法，其特征在于，所述步骤S2中，所述第一公式为：

其中，W_ij表示第i句文本中第j个词的TF-IDF权重，tf_ij表示第i句文本中第j个词的词频，N表示总的文本数，n_j表示出现第j个词的总文本数。

4.根据权利要求1所述一种基于词语覆盖度的文本相似度的运算方法，其特征在于，所述步骤S3中所述相互覆盖度包括任意两个弹幕之间的相同的特征词，两个弹幕的长度以及两个弹幕互不重复词语长度。

5.一种基于词语覆盖度的文本相似度的运算系统，所述基于词语覆盖度的文本相似度的运算系统用于实现如权利要求1至4中任一项所述一种基于词语覆盖度的文本相似度的运算方法的步骤，其特征在于，所述系统包括分词模块、第一计算模块、第二计算模块：

分词模块，用于运用分词器对弹幕库的各条弹幕进行分词；

第一计算模块，用于运用第一公式，计算分词模块中各条弹幕的词向量矩阵，并基于词向量矩阵，将各条弹幕进行向量化的表示；

第二计算模块，用于选取第一计算模块中向量化表示的任意两个弹幕，计算任意两个弹幕间特征词的相互覆盖度，并结合第二公式，计算所述两个弹幕之间的相似度。

6.根据权利要求5所述一种基于词语覆盖度的文本相似度的运算系统，其特征在于，所述分词模块中，所述分词器还去除弹幕中停用词。

7.根据权利要求5所述一种基于词语覆盖度的文本相似度的运算系统，其特征在于，所述第二计算模块中所述相互覆盖度包括任意两个弹幕之间的相同的特征词，两个弹幕的长度以及两个弹幕互不重复词语长度。

8.一种基于词语覆盖度的文本相似度的运算系统的服务器，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至4中任一项所述一种基于词语覆盖度的文本相似度的运算方法的步骤。

9.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至4中任一项所述一种基于词语覆盖度的文本相似度的运算方法的步骤。