[发明专利]文章新章节的检测方法及装置

说明书

本发明公开了一种文章新章节的检测方法及装置，属于互联网技术领域。所述方法包括：确定文章的已检测章节的第一主题词向量；所述第一主题词向量用于标识所述文章的已检测章节的内容；确定所述文章的新章节的第二主题词向量；所述第二主题词向量用于标识所述文章的新章节的内容；计算所述第一主题词向量和所述第二主题词向量的相似度；根据所述相似度与预设相似度阈值的大小关系，判断所述新章节是否为所述文章的虚假章节。通过采用本发明的技术方案，在线识别过程仅需要毫秒级，丝毫不影响章节推送速度，从而能够在新章节为有效章节时，及时的推送新章节，有效地保证了文章新章节的推送效率。

本申请是2013年06月06日提交的申请号为201310223253.0、发明名称为“文章新章节的检测方法及装置”的发明专利申请的分案申请。

技术领域

本发明涉及互联网技术领域，特别涉及一种文章新章节的检测方法及装置。

背景技术

随着互联网网络科技的发展，越来越多的人们可以通过互联网进行各种活动，例如人们可以通过互联网阅读一些连载的文章等等。

现有技术中，随着网络文章的日益火爆也催生了越来越多的文章网站的诞生，据不完全统计，各种中小型文章网站数量已经达到数十万个，其质量良莠不齐，经常存在一些盗取内容甚至制造虚假的新章节以骗取文章用户点击，伤害用户体验的行为。作为文章聚合平台，在抓取这些网站的文章的新章节数据后，对文章的新章节进行人工审核，将虚假的新章节识别出来并及时过滤掉，以向用户提供较高质量的文章。该方案为提高文章聚合平台质量、优化用户阅读体验的重要环节。

在实现本发明的过程中，发明人发现现有技术至少存在以下问题：上述现有的采用人工审核的方式审核文章的新章节的方法，审核时间较长，导致文章的新章节不能被及时推送。

发明内容

为了解决现有技术的问题，本发明实施例提供了一种文章新章节的检测方法及装置。所述技术方案如下：

一方面，提供了一种文章新章节的检测方法，用于文章聚合平台，所述方法包括：

对文章的新章节进行文字拆分，得到多个候选词；

计算所述多个候选词中每个所述候选词的权重；

根据所述多个候选词以及所述多个候选词中每个所述候选词的权重，生成第二主题词向量，所述第二主题词向量是指所述新章节的主题词向量；

计算所述第二主题词向量和第一主题词向量的相似度，所述第一主题词向量是指所述文章的已检测章节的主题词向量；

当所述相似度小于预设相似度阈值时，确定所述新章节为所述文章的虚假章节。

另一方面，提供了一种文章新章节的检测装置，所述装置包括：

拆分单元，用于对文章的新章节进行文字拆分，得到多个候选词；

计算单元，用于计算所述多个候选词中每个所述候选词的权重；

生成单元，用于根据所述多个候选词以及所述多个候选词中每个所述候选词的权重，生成第二主题词向量，所述第二主题词向量是指所述新章节的主题词向量；

计算模块，用于计算所述第二主题词向量和第一主题词向量的相似度，所述第一主题词向量是指所述文章的已检测章节的主题词向量；

判断模块，用于当所述相似度小于预设相似度阈值时，确定所述新章节为所述文章的虚假章节。

再一方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序在被处理器执行时，用于实现上述文章新章节的检测方法。