[发明专利]新闻稿件话题聚类的方法和系统

说明书

本发明公开了一种新闻稿件话题聚类的方法和系统，该方法包括：抽取历史新闻稿件；抽取实时新闻稿件；对历史新闻稿件进行分析处理，形成历史新闻稿件的话题层次树；根据实时新闻稿件与话题层次树中的话题的相似度，将实时新闻稿件添加到话题层次树中。本发明的上述技术方案能够实现对新闻稿件的全量话题聚类效果，在此实现过程中可利用大数据的分析处理技术，从而具有良好的聚类效果和应用效果。

技术领域

本发明涉及数据处理技术领域，具体来说，涉及一种新闻稿件话题聚类的方法和系统。

背景技术

对于新闻稿件，当具有一定数量的情况下，对于编辑人员需要有技术手段帮助其对稿件的主题进行归类，从而辅助其进行新闻栏目、新闻专题等的策划；而对于读者来说，也希望能够在阅读新闻的同时，能够推送相关话题的其它新闻。因此对新闻稿件进行话题聚类具有很好的应用效果。当前大部分新闻网站，仍然以人工组织新闻话题为主，少部分采用了技术手段进行辅助，但总体效果有限。

另外，现有的技术主要针对要分析的新闻稿件内容本身，以单纯的文本聚类方法为主，并未考虑到新闻话题的层次性和传承性，同时对于实时的新闻也未能很好的和历史新闻稿件进行关联，因此效果往往不佳。

发明内容

针对相关技术中存在的问题，本发明提出一种新闻稿件话题聚类的方法和系统，能够实现对新闻稿件的全量话题聚类效果。

本发明的技术方案是这样实现的：

根据本发明的一个方面，提供了一种新闻稿件话题聚类的方法，包括：S1，抽取历史新闻稿件；S2，抽取实时新闻稿件；S3，对所述历史新闻稿件进行分析处理，形成所述历史新闻稿件的话题层次树；S4，根据所述实时新闻稿件与话题层次树中的话题的相似度，将所述实时新闻稿件添加到所述话题层次树中。

在一个实施例中，步骤S3包括：对所述历史新闻稿件进行话题聚类；对历史新闻稿件话题进行层次聚类。

其中，利用Canopy聚类算法和LDA算法进行所述话题聚类和所述层次聚类。

在一个实施例中，步骤S4具体包括：计算所述话题层次树中的第一层话题的余弦相似度；将所述实时新闻稿件添加到余弦值最大的话题中。

其中，步骤S4还包括：对所述余弦值最大的话题进行标记；在步骤S4之后还包括：对所述余弦值最大的话题进行层次聚类，并更新所述话题层次树。

根据本发明的另一方面，还提供了一种新闻稿件话题聚类的系统，包括：历史新闻稿件抽取模块，用于抽取历史新闻稿件；实时新闻稿件抽取模块，用于抽取实时新闻稿件；分析模块，用于对历史新闻稿件进行分析处理，并形成历史新闻稿件的话题层次树；增量添加模块，用于根据实时新闻稿件与话题层次树中的话题的相似度，并将实时新闻稿件添加到话题层次树中。

在一个实施例中，分析模块包括：话题聚类模块，用于对历史新闻稿件进行话题聚类；层次聚类模块，用于对历史新闻稿件话题进行层次聚类。

其中，话题聚类模块和层次聚类模块分别利用Canopy聚类算法和LDA算法进行话题聚类和层次聚类。

在一个实施例中，增量添加模块包括：计算子模块，用于计算话题层次树中的第一层话题的余弦相似度；添加子模块，用于将实时新闻稿件添加到余弦值最大的话题中。

其中，增量添加模块还包括：标记子模块，用于对余弦值最大的话题进行标记；新闻稿件话题聚类的系统还包括：维护模块，用于对余弦值最大的话题进行层次聚类，并更新话题层次树。

本发明的上述技术方案，通过分析处理抽取的历史新闻稿件形成话题层次树，再通过关联分析，将实时新闻稿件的增量添加到话题层次树中，从而实现对新闻稿件的全量话题聚类效果，在此实现过程中可利用大数据的分析处理技术，从而具有良好的聚类效果和应用效果。

附图说明