[发明专利]一种智能政策信息采集与分析系统

说明书

本发明公开了一种智能政策信息采集与分析系统，涉及政策信息服务技术领域，为解决现有的不能够及时采集最新政策信息进行分析处理以及处理分析的过程中效率较低的问题。所述政策信息采集模块、网络爬虫模块、采集数据库、政策分析模块、分析数据库和检索模块，所述政策分析模块包括政策分析控制模块、索引处理模块、摘要汇成模块、政策信息去重模块、政策信息分类模块、政策归集模块和政策热点话题识别模块，所述网络爬虫模块包括登录管理模块、页面数据解析模块和采集优化模块。

技术领域

本发明涉及政策信息服务技术领域，具体为一种智能政策信息采集与分析系统。

背景技术

随着互联网的不断发展，通过对不同来源数据的管理、处理、分析与优化，将结果反馈到实际应用中,将创造出巨大的经济和社会价值。数据化时代不仅为政策信息服务注入新的发展动力,还将为政策信息服务带来深刻的变革,以实现资源集约化利用。

但是，现有的政策信息服务系统在使用的过程中存在一些缺陷：一、目前的政策发布渠道较多，且获得的方式受登录限制以及受多种方式传达消息的影响，不能够及时采集最新政策信息进行分析处理；二、在采集政策信息的过程中，由于信息量较大，且重复性较强，导致政策信息服务系统在处理分析的过程中效率较低，因此不满足现有的需求，对此我们提出了一种智能政策信息采集与分析系统。

发明内容

本发明的目的在于提供一种智能政策信息采集与分析系统，以解决上述背景技术中提出的不能够及时采集最新政策信息进行分析处理以及处理分析的过程中效率较低的问题。

为实现上述目的，本发明提供如下技术方案：一种智能政策信息采集与分析系统，包括政策信息采集模块、网络爬虫模块、采集数据库、政策分析模块、分析数据库和检索模块，其中：

政策信息采集模块，所述政策信息采集模块通过互联网获取政策信息，且政策信息采集模块与网络爬虫模块相连接；

网络爬虫模块，网络爬虫模块将互联网上获取政策信息的半结构化数据进行结构化提取，通过人工配置的文本处理脚本，将政策网站的内容结构化；

采集数据库，所述采集数据库与网络爬虫模块相连接，经过网络爬虫模块结构化提取的政策信息数据在采集数据库进行储存；

政策分析模块，所述政策分析模块与采集数据库相连接，所述政策分析模块对采集数据库中的政策数据信息首先经过组合运用，再对组合后的内容进行自动化分析，提供准确政策分析结构；

分析数据库，所述分析数据库与政策分析模块相连接，经过分析处理的政策信息在分析数据库进行储存。

优选的，所述政策分析模块包括政策分析控制模块、索引处理模块、摘要汇成模块、政策信息去重模块、政策信息分类模块、政策归集模块和政策热点话题识别模块，其中：

政策分析控制模块，采用消息总线控制机制，将每一个采集后的政策文本作为一条消息，进入消息处理流程，按照政策类型，定制不同的处理流程；

索引处理模块，向索引系统提交信息，删除信息，查询信息等各种索引交互功能；

摘要汇成模块，封装了文本内容信息自动摘要的功能，该功能实现了自动抽取内容信息主干，为用户形成文字摘要的目的；

政策信息去重模块，通过提取政策网页信息关键特征，形成政策网页内容的信息特征，利用该特征，可以计算政策信息转载和网页内容去重；

政策信息分类模块，包括政策关键字设置和政策类别跟踪两大功能，通过人工设定长期关注的关键字，再由政策类别跟踪功能从信息流中获取相关的信息并分类到该关键字之中来实现类别跟踪；

政策归集模块，根据设定的各种政策目标，对各类政策的信息进行归集，并持久化归集结果；