[发明专利]一种内容相似度排序算法

说明书

本发明属于海量数据的内容相似度排序技术领域，涉及海量数据中基于文本分类概率向量和文本语义向量的内容相似度排序，尤其涉及海量数据中基于文本分类概率向量和文本语义向量的一种内容相似度排序算法，该算法可分为两层：第一层是基于文本分类概率向量的相似度计算召回层，该层通过分类概率向量计算出局部最优相似文本池，因此被称为文本相似召回层。第二层是基于第一层的局部最优相似文本池进行内容相似度计算，因此被称为文本语义相似度排序层。本发明在传统文本相似度计算的基础上嵌入一层文本相似粗粒度排序层，以此来筛选最优相似文本池，通过该算法缩减了文本相似度的计算范围。当面对海量数据时，既节省了大量计算资源也降低了计算耗时。

技术领域

本发明属于海量数据的内容相似度排序技术领域，涉及海量数据中基于文本分类概率向量和文本语义向量的内容相似度排序，尤其涉及海量数据中基于文本分类概率向量和文本语义向量的一种内容相似度排序算法。

背景技术

随着新媒体技术近几年的快速发展，各大媒体平台纷纷向高时效、低成本、多渠道等数字技术的优势方向发展，并且这种趋势逐渐被大众所接受。然而在媒体平台运行模式发生变化的过程中消费者的阅读模式也发生了转变，具体体现为由系统性阅读转换为碎片化阅读，这就导致消费者所接受的信息缺乏完整性与连续性。

然而作为新媒体平台有责任引导用户对事件本身进行全面、真实、理性地了解。因此若把内容方向一致且相似的文本进行快速整合，将有利于消费者对信息的接收与理解，实现在保证信息完整的同时拓展内容的丰富度，从而引导用户进行纵向深度阅读，提升用户对新媒体APP的体验好感度。由此可见利用大数据技术计算稿件内容的相似度，并将相似度最高的稿件进行整合具有十分重要的作用。

而Google发布的Word2Vec算法虽满足文本相似度计算的需求，但在百维级别的文本向量特征条件下将该算法用于海量稿件的实时计算场景中时，就会出现计算资源消耗大、计算耗时长等问题，从而破坏了用户对APP的体验感。在此背景下本发明“提出海量数据中基于文本分类概率向量和文本语义向量的内容相似度排序算法”，该算法在面对海量数据时，既节省了计算资源又减少了计算耗时，因此具有一定的实际意义。

发明内容

本发明针对上述的问题，提供了一种海量数据中基于文本分类概率向量和文本语义向量的一种内容相似度排序算法。

为了达到上述目的，本发明采用的技术方案为，

一种内容相似度排序算法，即为海量数据中基于文本分类概率向量和文本语义向量的内容相似度排序算法，具体包括文本相似召回和文本语义相似度排序两部分；

所述文本相似召回即为文本相似召回层，所述文本相似召回层采用BERT

语言模型和K-Means聚类模型进行实现；

所述文本语义相似度排序即为文本语义相似度排序层，所述文本语义相似度排序层采用Word2Vec神经网络模型进行实现。

作为优选，所述文本相似召回具体包括以下步骤：

步骤一，预测分类概率向量P

(1)对海量文本数据进行数据处理，提取文本长度seq_len和文本内容chars，组合成2个维度的文本集合；

(2)对所有文本内容chars，建立词袋模型，并对文本内容chars进行词袋向量words转换，提取新的特征维度：

(3)通过预训练BERT语言模型，对文本长度seq_len和词袋向量words进行Embedding转换，并训练文本多分类模型；

(4)通过文本多分类模型计算文本在所有分类类别下的概率，并将概率整合到列表里，得到分类概率向量P，