[发明专利]一种内容相似度排序算法

权利要求书

1.一种内容相似度排序算法，即为海量数据中基于文本分类概率向量和文本语义向量的内容相似度排序算法，其特征在于，具体包括文本相似召回和文本语义相似度排序两部分；

所述文本相似召回即为文本相似召回层，所述文本相似召回层采用BERT语言模型和K-Means聚类模型进行实现；

所述文本语义相似度排序即为文本语义相似度排序层，所述文本语义相似度排序层采用Word2Vec神经网络模型进行实现。

2.根据权利要求1所述的一种内容相似度排序算法，其特征在于，所述文本相似召回具体包括以下步骤：

步骤一，预测分类概率向量P

(1)对海量文本数据进行数据处理，提取文本长度seq_len和文本内容chars，组合成2个维度的文本集合；

(2)对所有文本内容chars，建立词袋模型，并对文本内容chars进行词袋向量words转换，提取新的特征维度：

(3)通过预训练BERT语言模型，对文本长度seq_len和词袋向量words进行Embedding转换，并训练文本多分类模型；

(4)通过文本多分类模型计算文本在所有分类类别下的概率，并将概率整合到列表里，得到分类概率向量P，

P＝[p₁,p₂,p₃...p_n]；

步骤二，得到局部最优相似文本池

(1)以分类概率向量P为特征，采用K-Means聚类模型进行训练，计算每个点的概率向量P到中心点概率向量CP的距离D，并迭代调整中心点的位置，得到相似度召回模型，

(2)通过相似度召回模型，对所有文本进行相似度召回，得到局部最优相似文本池。

3.根据权利要求2所述的一种内容相似度排序算法，其特征在于，所述文本语义相似度排序以文本内容的词频列表为特征，通过Word2Vec将词语列表转换成词向量列表，计算词向量的欧氏距离得到文本内容的相似度，具体步骤如下：

步骤一，得到词向量WordVec，并对其保存

(1)对文本做分词处理得到词语列表，并统计成词频列表WordCount，作为Word2Vec模型的训练集；

(2)通过模型计算出词语列表每个词语映射到语义空间的向量，简称词向量WordVec，

WordVec＝[v₁,v₂,v₃...v_n]；

(3)将词向量保存入库，以便后续步骤的词向量特征转换；

步骤二，得到文本相似度列表

(1)通过Word2Vec模型，将词语列表中每个词语通过模型的映射转换成词向量WordVec；

(2)计算向量列表的均值，得到文本内容向量，

(3)基于局部最优相似文本池，计算目标文本与文本池中每篇文本之间的内容向量的欧氏距离D，得到最终结果：文本相似度列表，

Similar＝[s₁,s₂,s₃...s_n]。

4.根据权利要求3所述的一种内容相似度排序算法，其特征在于，对文本相似度列表进行降序排序取结果，相似度的值越小，文本内容越相似。