[发明专利]一种内容相似度排序算法

摘要

本发明属于海量数据的内容相似度排序技术领域，涉及海量数据中基于文本分类概率向量和文本语义向量的内容相似度排序，尤其涉及海量数据中基于文本分类概率向量和文本语义向量的一种内容相似度排序算法，该算法可分为两层：第一层是基于文本分类概率向量的相似度计算召回层，该层通过分类概率向量计算出局部最优相似文本池，因此被称为文本相似召回层。第二层是基于第一层的局部最优相似文本池进行内容相似度计算，因此被称为文本语义相似度排序层。本发明在传统文本相似度计算的基础上嵌入一层文本相似粗粒度排序层，以此来筛选最优相似文本池，通过该算法缩减了文本相似度的计算范围。当面对海量数据时，既节省了大量计算资源也降低了计算耗时。