[发明专利]一种智能政策信息采集与分析系统

权利要求书

1.一种智能政策信息采集与分析系统，包括政策信息采集模块(1)、网络爬虫模块(2)、采集数据库(3)、政策分析模块(4)、分析数据库(5)和检索模块(6)，其中：

政策信息采集模块(1)，所述政策信息采集模块(1)通过互联网获取政策信息，且政策信息采集模块(1)与网络爬虫模块(2)相连接；

网络爬虫模块(2)，网络爬虫模块(2)将互联网上获取政策信息的半结构化数据进行结构化提取，通过人工配置的文本处理脚本，将政策网站的内容结构化；

采集数据库(3)，所述采集数据库(3)与网络爬虫模块(2)相连接，经过网络爬虫模块(2)结构化提取的政策信息数据在采集数据库(3)进行储存；

政策分析模块(4)，所述政策分析模块(4)与采集数据库(3)相连接，所述政策分析模块(4)对采集数据库(3)中的政策数据信息首先经过组合运用，再对组合后的内容进行自动化分析，提供准确政策分析结构；

分析数据库(5)，所述分析数据库(5)与政策分析模块(4)相连接，经过分析处理的政策信息在分析数据库(5)进行储存。

2.根据权利要求1所述的一种智能政策信息采集与分析系统，其特征在于：所述政策分析模块(4)包括政策分析控制模块(7)、索引处理模块(8)、摘要汇成模块(9)、政策信息去重模块(10)、政策信息分类模块(11)、政策归集模块(12)和政策热点话题识别模块(13)，其中：

政策分析控制模块(7)，采用消息总线控制机制，将每一个采集后的政策文本作为一条消息，进入消息处理流程，按照政策类型，定制不同的处理流程；

索引处理模块(8)，向索引系统提交信息，删除信息，查询信息等各种索引交互功能；

摘要汇成模块(9)，封装了文本内容信息自动摘要的功能，该功能实现了自动抽取内容信息主干，为用户形成文字摘要的目的；

政策信息去重模块(10)，通过提取政策网页信息关键特征，形成政策网页内容的信息特征，利用该特征，可以计算政策信息转载和网页内容去重；

政策信息分类模块(11)，包括政策关键字设置和政策类别跟踪两大功能，通过人工设定长期关注的关键字，再由政策类别跟踪功能从信息流中获取相关的信息并分类到该关键字之中来实现类别跟踪；

政策归集模块(12)，根据设定的各种政策目标，对各类政策的信息进行归集，并持久化归集结果；

政策热点话题识别模块(13)，通过含有信息源权威加权的文本聚类技术，从信息流中获取当日各平台讨论的政策热点信息。

3.根据权利要求1所述的一种智能政策信息采集与分析系统，其特征在于：所述网络爬虫模块(2)包括登录管理模块(18)、页面数据解析模块(19)和采集优化模块(20)，其中：

登录管理模块(18)，负责在数据库中维护登录信息列表，并针对需要登录的情况进行模拟登录，该列表为所有需要登录认证的政策发布页面提供人工设定的登录信息，同时封装已登录认证信息的共享池，让采集线程可以共享登录状态而不需要重复登录认证；

页面数据解析模块(19)，封装了政策网页信息提取与结构化的方法，包括人工设定脚本、根据脚本解析Web页面数据、结构化信息持久化等功能；

采集优化模块(20)，针对不同的政策发布媒体制定优化的采集流程，该模块通过组合上面的基本功能模块，来实现对不同政策发布媒体信息的优化采集。

4.根据权利要求1所述的一种智能政策信息采集与分析系统，其特征在于：所述政策信息采集模块(1)的目标对象为政策发布官网、主流政策发布媒体、政策论坛、广播新闻。

5.根据权利要求4所述的一种智能政策信息采集与分析系统，其特征在于：所述政策信息采集模块(1)包括网页采集器(14)、媒体信息采集器(15)、论坛信息采集器(16)和广播新闻采集器(17)。

6.根据权利要求1所述的一种智能政策信息采集与分析系统，其特征在于：所述检索模块(6)与分析数据库(5)相连接，用户通过检索模块(6)对所需的政策信息进行了解。