[发明专利]一种基于文本挖掘的热点新闻发现方法

说明书

本发明公开一种基于文本挖掘的热点新闻发现方法，包括步骤：将预处理后的新闻的标题的权重扩大，在分词及去停用词处理后，获取新闻的TF‑IDF的特征向量；基于所述TF‑IDF的特征向量，利用聚类算法预测新闻的所属类别；将新闻的标题及摘要合并成一句子，然后对句子进行分词、去停用词处理；利用TextRank算法，对新闻标题排序后输出热点新闻。本发明在聚类时增加了新闻标题权重，以提升其正确率；将新闻的标题、摘要、关键词一并用于排序，一方面增加新闻标题的权重，一方面能减少新闻标题的重复。

技术领域

本发明涉及新闻发现技术领域，特别是涉及一种基于文本挖掘的热点新闻发现方法。

背景技术

现有技术热点新闻发现方法比较多：利用LDA主题模型，提出一个多核心活体模型，能够识别同一话题下关注的核心，之后采用划分聚类和层次聚类结合的办法对新闻报道进行精确聚类。采用single-pass聚类思想和凝聚式层次聚类与K-Means聚类算法相结合发现热点新闻。改进关联规则算法，根据互信息来计算文本字符串的相似度，然后得出热点新闻关键词集合，再进行热度计算来研究新闻热点。利用聚类算法得到新闻的类别，然后利用TextRank排序，取前几个新闻即为热点新闻。

然而现有热点新闻发现中，没有考虑新闻的结构，导致区分度以及正确率上尚未达到满意的效果，且也存在重复标题的新闻热点发现问题。

发明内容

本发明的目的是针对现有技术中的缺陷，而提供一种基于文本挖掘的热点新闻发现方法，本发明方法增加了区分度，提升了正确率，解决了新闻标题的重复的问题。

为实现本发明的目的所采用的技术方案是：

一种基于文本挖掘的热点新闻发现方法，包括步骤：

将预处理后的新闻的标题的权重扩大，在分词及去停用词处理后，获取新闻的TF-IDF的特征向量；

基于所述TF-IDF的特征向量，利用聚类算法预测新闻的所属类别；

将新闻的标题及摘要合并成一句子，然后对句子进行分词、去停用词处理；

利用TextRank算法对句子处理，对新闻标题排序后输出热点新闻。

优选的，所述预处理包括去重、清洗的处理步骤。

优选的，利用训练TF-IDF模型获取新闻的TF-IDF的特征向量。

优选的，利用训练k-means模型预测新闻的所属类别。

优选的，TextRank算法顺序的步骤是，计算所述句子间相似度，根据所述相似度计算句子权重，根据所述权重对新闻标题进行排序。

本发明在热点新闻挖掘中，在聚类时，增加了新闻标题的权重，以提升其正确率；在排序时，将新闻的标题、摘要、关键词一并用于排序，一方面增加新闻标题的权重，一方面能减少新闻标题的重复。

附图说明

图1是本发明的基于文本挖掘的热点新闻发现方法的流程示意图。

具体实施方式

以下结合附图和具体实施例对本发明作进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如图1所示，本发明基于文本挖掘的热点新闻发现方法，包括以下步骤：

将预处理后的新闻的标题的权重扩大，在分词及去停用词处理后，获取新闻的TF-IDF的特征向量；

基于所述TF-IDF的特征向量，利用聚类算法预测新闻的所属类别；

将新闻的标题及摘要合并成一句子，然后对句子进行分词、去停用词处理；