[发明专利]一种文本相似度的计算方法、装置及存储介质

权利要求书

1.一种文本相似度的计算方法，其特征在于，包括：

对待处理的两条文本分别进行分词处理，得到两个第一词汇集合，并基于所述两个第一词汇集合，计算所述两条文本的第一相似度，包括：

令所述两个第一词汇集合分别为A1和B1，所述两个第一词汇集合进行向量化处理得到的向量分别为和所述两条文本的第一相似度为score(A，B)_semantic，则：

将所述两条文本分别输入至预置的N-gram语言模型，得到两个第二词汇集合，并基于所述两个第二词汇集合，计算所述两条文本的第二相似度，包括：

将两条文本分别输入预置的N-gram语言模型，输出所述两个第二词汇集合，令所述两个第二词汇集合分别为A2和B2；

比较所述两个第二词汇集合，获得A2中词语的总个数len(A2_{n_text})，B2中词语的总个数len(B2_{n_text})，所述两个第二词汇集合中相同的词语个数N_{n_text}，所述两个第二词汇集合中不重复的所有词语的个数len(A2∪B2)_{n_text}；

令所述两条文本的第二相似度为score(A，B)_text，则：

按照预置的所述第一相似度的调节参数和所述第二相似度的调节参数，基于所述第一相似度和所述第二相似度，计算所述两条文本的相似度；

所述预置的第一相似度的调节参数和所述第二相似度的调节参数之和为1，即：

α+β＝1，

其中，0≤α≤1，0≤β≤1。

2.根据权利要求1所述的方法，其特征在于，所述基于所述第一相似度和所述第二相似度，得出所述两条文本的相似度包括：

令所述两条文本分别为A和B，所述预置的第一相似度的调节参数和所述第二相似度的调节参数分别为α和β，所述两条文本的相似度为sim(A，B)，则：

sim(A，B)＝α*score(A，B)_semantic+β*score(A，B)_text。

3.根据权利要求1所述的方法，其特征在于，所述两条文本存在于特定领域的语料库中，所述对待处理的两条文本分别进行分词处理，得到两个第一词汇集合包括：

对所述特定领域的语料库中的所有文本进行分词处理，并去除停用词，得到所述特定领域的语料库中包含的所有词汇的集合；

从所述所有词汇的集合中获取所述两个第一词汇集合。

4.一种文本相似度的计算装置，其特征在于，包括：

第一计算模块，用于对待处理的两条文本分别进行分词处理，得到两个第一词汇集合，并基于所述两个第一词汇集合，计算所述两条文本的第一相似度，包括：

令所述两个第一词汇集合分别为A1和B1，所述两个第一词汇集合进行向量化处理得到的向量分别为和所述两条文本的第一相似度为score(A，B)_semantic，则：

第二计算模块，用于将所述两条文本分别输入至预置的N-gram语言模型，得到两个第二词汇集合，并基于所述两个第二词汇集合，计算所述两条文本的第二相似度，包括：

将两条文本分别输入预置的N-gram语言模型，输出所述两个第二词汇集合，令所述两个第二词汇集合分别为A2和B2；

比较所述两个第二词汇集合，获得A2中词语的总个数len(A2_{n_text})，B2中词语的总个数len(B2_{n_text})，所述两个第二词汇集合中相同的词语个数N_{n_text}，所述两个第二词汇集合中不重复的所有词语的个数len(A2∪B2)_{n_text}；

令所述两条文本的第二相似度为score(A，B)_text，则：

第三计算模块，用于按照预置的所述第一相似度的调节参数和所述第二相似度的调节参数，基于所述第一相似度和所述第二相似度，计算所述两条文本的相似度；

所述预置的第一相似度的调节参数和所述第二相似度的调节参数之和为1，即：

α+β＝1，

其中，0≤α≤1，0≤β≤1。