[发明专利]一种基于深度学习的舆情新闻去重与推送方法

说明书

本发明公开了一种基于深度学习的舆情新闻去重与推送方法，包括以下步骤，网络数据爬取，利用爬虫技术在各类新闻网站、政府公开网站爬取金融相关新闻信息文章，将爬取的新闻文本化，设一段时间内爬取的金融相关新闻信息为Fz，其中z代表周期，生成主题关键词，通过计算待处理文本的相同新闻实体的z周期内收集到的可能相似新闻数据，生成每篇新闻的主题关键词。本发明中，对公告、新闻等舆情数据，设计并实现文本去重算法方案，筛选描述同一事件的相似文本，避免信息损失重复资讯识别，算法简明，效果显著，可以大大提高业务人员的风险预警新闻阅读量。

技术领域

本发明涉及自然语言处理的技术领域，尤其涉及一种基于深度学习的舆情新闻去重与推送方法。

背景技术

新闻情数据来自各大门户网站，因为对同一事件的报道各大网站可能会相互转载引用，也可能用不同的措辞描述同一事件，内容相似的概率很高，会给阅读，统计和分析带来较大噪声干扰，舆情预警也会出现重复预警信号。

在NLP领域，基于语义的去重，一直是个难题：同样一个意思，可以有很多种说法，这些说法在语义上是十分接近的，目前在相似新闻去重方面，有人工运营相似新闻去重技术方案，这种方法成本高昂，有遗漏风险，该发明针对公告、新闻等舆情数据，设计并实现文本去重算法方案，筛选描述同一事件的相似文本，避免信息损失。

发明内容

本发明的目的是为了解决现有技术中存在的缺点，而提出的一种基于深度学习的舆情新闻去重与推送方法。

为了实现上述目的，本发明采用了如下技术方案：一种基于深度学习的舆情新闻去重与推送方法，包括以下步骤：

S1：网络数据爬取，利用爬虫技术在各类新闻网站、政府公开网站爬取金融相关新闻信息文章，将爬取的新闻文本化，设一段时间内爬取的金融相关新闻信息为Fz，其中z代表周期；

S2：生成主题关键词，通过计算待处理文本的相同新闻实体的z周期内收集到的可能相似新闻数据，生成每篇新闻的主题关键词；

S3：舆情新闻去重,对新闻进行聚类，只将主信号新闻推送给用户，推送主信号的主题关键词；

S4：主题关键词推送，通过实时预测的新闻热点关键词与金融词库的关联度，并将主题关键词推送给用户。

作为上述技术方案的进一步描述：

所述网络爬虫技术是指一种按照一定的规则自动地抓取网站上发布的信息的程序或者脚本，且网络爬虫的爬行策略包括深度优先策略和广度优先策略。

作为上述技术方案的进一步描述：

所述网络爬虫技术的模式为基于目标数据模式，且目标数据模式的网络爬虫技术的爬虫针对的是网页上的数据，所抓取的数据符合一定的模式，且可以转化或映射为目标数据模式。

作为上述技术方案的进一步描述：

所述S2步骤中通过计算待处理文本的相同新闻实体的z周期内收集到的可能相似新闻数据，生成每篇新闻的主题关键词，包括以下步骤：

S2.1：对每篇新闻进行清洗预处理；

S2.2：文本向量化，算出基于TF-IDF算法获得的每篇新闻的每个词汇的TF-IDF值设置为A,同时查询该关键词在历史高风险新闻库的TF-IDF值设置为B；

S2.3：将A和B的共同的关键词设置为主题关键词。

作为上述技术方案的进一步描述：