[发明专利]一种检索相似文章的方法及装置

说明书

本发明公开了一种检索相似文章的方法，包括：获取目标文章；计算目标文章的simhash散列值；获取双亲森林数据模型；基于目标文章的simhash散列值，在双亲森林数据模型中检索与目标文章相似的文章。由于该双亲森林数据模型可以使得相似的文章集中在一棵树中，并返回相同的simhash散列值，这样在使用simhash方法时，可以方便进行相似文章去重，从而计算出相似文章的数量，并检索出这些相似文章。故而，解决了现有技术中在给定一篇文章时，无法基于simhash计算出与给定文章相似的文章的数量，并检索出这些相似文章的技术问题。

技术领域

本发明涉及互联网技术领域，尤其涉及一种检索相似文章的方法及装置。

背景技术

舆情(即：舆论情况)平台的一项基本产品功能是根据用户指定的关键词，来查看与关键词相关的文章。在一段时间内，某个事件会成为热门话题，不同媒体站点都会针对该事件有所行动(例如：编写文章、转载文章、引用文章、借鉴文章、甚至盗窃文章)，因此，针对该事件，在互联网的各个媒体站点上会有大量文章进行描述。

由于存在互相转载和借鉴的现象，描述该事件的很多文章都是相似的。针对这个事件的文章，用户在舆情平台上浏览时，有两个需求：1)在文章列表页，希望看到多样性的文章，而不是相似或者相同的文章，同时对每篇文章，要计算出与其相似的文章数量，并且可以按照相似文章数量进行升序或降续排序；2)在文章详情页，希望看到本篇文章的内容，同时可以查看哪些其他媒体发布了相似的文章，以及跳转到相似文章的详情页来进一步浏览。

上述需求1)实质上是需要对相似的文章去重，并且可以统计相似文章的数量；而需求2)实质上是需要给定一篇文章，来检索出与其相似的其他文章。

发明内容

本发明实施例通过提供一种检索相似文章的方法及装置，解决了现有技术中在给定一篇文章时，无法基于simhash计算出与给定文章相似的文章的数量，并检索出这些相似文章的技术问题。

第一方面，本发明通过本发明的一实施例提供如下技术方案：

一种检索相似文章的方法，包括：

获取目标文章；

计算所述目标文章的simhash散列值；

获取双亲森林数据模型；所述双亲森林数据模型由多棵树组成，其中，每一个叶子节点代表一篇文章的simhash散列值，每一个根节点代表整棵树的simhash散列值，任意两个根节点之间的simhash散列值的海明距离大于预设值，同一颗树上的任意两个节点的simhash散列值的海明距离小于等于所述预设值；

基于所述目标文章的simhash散列值，在所述双亲森林数据模型中检索与所述目标文章相似的文章。

优选地，所述计算所述目标文章的simhash散列值，包括：

从所述目标文章中提取最长的句子，所述最长的句子用于代表所述目标文章；

计算所述最长的句子的simhash散列值，所述最长的句子的simhash散列值用于代表所述目标文章的simhash散列值。

优选地，所述基于所述目标文章的simhash散列值，在所述双亲森林数据模型中检索与所述目标文章相似的文章，包括：

获取simhash散列值表，所述simhash散列值表中存储有所述双亲森林数据模型中所有节点的simhash散列值；

判断所述simhash散列值表中是否存在与所述目标文章的simhash散列值的海明距离小于等于所述预设值的simhash散列值；

若存在，则在所述simhash散列值表中找出所有与所述目标文章的simhash散列值的海明距离小于等于所述预设值的simhash散列值，构成集合S；