[发明专利]一种基于数据挖掘与深度学习的新闻信息聚合方法

摘要

本发明公开了一种基于数据挖掘与深度学习的新闻信息聚合方法，使用爬虫对新闻门户网站在同一时间段进行数据抓取，获得新闻信息以及评论信息；然后通过应用向量空间模型、TF‑IDF权重计算方法、同义词词林方法以及cosin的距离测量，对新闻进行分类去重，将内容相同的新闻聚合在一起；通过文本概括的算法，实现对所有评论进行概括的功能；最后通过深度神经网络模型，自动生成文章的摘要。本方法可以方便读者高效快速地获取到各大新闻平台的内容及读者评论。

主权项

1.一种基于数据挖掘与深度学习的新闻信息聚合方法，其特征在于，包括以下步骤：S1、采用爬虫框架对指定网站平台的新闻与评论进行数据爬取；S2、将所有新闻进行分类，结合向量空间模型、cos相似值，对各个新闻的内容进行分类；S3、生成文章摘要，采用深度神经网络结构生成文本摘要；S4、对新闻对应的评论进行概括，通过对评论文本进行预处理，直接采用TF‑IDF算法抽取出关键的评论，作为文本的概括。