[发明专利]一种基于分布式爬虫技术的政策资讯采集管理系统

权利要求书

1.一种基于分布式爬虫技术的政策资讯采集管理系统，包括数据集中处理中心(1)，其特征在于：所述数据集中处理中心(1)输出端分别设有紧急预警端(2)、数据查看端(3)和管理操控端(4)，所述紧急预警端(2)、数据查看端(3)和管理操控端(4)相互连通，所述数据集中处理中心(1)通过以太网传输线缆分别连接有数据备份数据库(5)和数据存储数据库(6)，所述数据集中处理中心(1)连接端设有多个网络爬虫处理模块(7)，所述网络爬虫处理模块(7)包括SQL数据库(71)、判断模块(72)、网页分析模块(73)、页面下载模块(74)和URL仓库(75)。

2.根据权利要求1所述的一种基于分布式爬虫技术的政策资讯采集管理系统，其特征在于：所述数据集中处理中心(1)包括数据接收模块、数据传输模块、数据处理模块、数据分析模块和数据提取模块，所述数据集中处理中心(1)用于接收网络爬虫处理模块(7)传输数据并进行处理和传输，可以分别传输信号至紧急预警端(2)、数据查看端(3)和管理操控端(4)并可以将需要存储的数据传输至数据备份数据库(5)和数据存储数据库(6)内部进行存储。

3.根据权利要求1所述的一种基于分布式爬虫技术的政策资讯采集管理系统，其特征在于：所述紧急预警端(2)包括警报器和预警装置，所述预警装置内部设有SIM卡且输出端设有手机APP端，用于及时将预警信息传输至工作人员。

4.根据权利要求1所述的一种基于分布式爬虫技术的政策资讯采集管理系统，其特征在于：所述数据查看端(3)用于工作人员进行查看数据集中处理中心(1)处理后所提取的政策资讯信息，所述数据查看端(3)设置为多个显示屏。

5.根据权利要求1所述的一种基于分布式爬虫技术的政策资讯采集管理系统，其特征在于：所述管理操控端(4)与数据集中处理中心(1)之间连通有输入模块(41)，所述输入模块(41)用于工作人员输入关键词至数据集中处理中心(1)后数据集中处理中心(1)对关键词在网络爬虫内进行搜寻并获取相应的资讯信息，所述管理操控端(4)内部设有密码验证模块(42)，所述密码验证模块(42)用于验证工作人员身份。

6.根据权利要求1所述的一种基于分布式爬虫技术的政策资讯采集管理系统，其特征在于：所述数据备份数据库(5)用于存储系统工作过程中可用的资讯信息，所述数据存储数据库(6)用于存储系统工作过程中由网络爬虫处理模块(7)传输至数据集中处理中心(1)的数据，所述数据备份数据库(5)与数据存储数据库(6)相互连通。

7.根据权利要求1所述的一种基于分布式爬虫技术的政策资讯采集管理系统，其特征在于：所述SQL数据库(71)与数据集中处理中心(1)连通，所述SQL数据库(71)连接端设有判断模块(72)，所述判断模块(72)连接端设有网页分析模块(73)，所述网页分析模块(73)连接端设有页面下载模块(74)，所述判断模块(72)和页面下载模块(74)连接端均设有URL仓库(75)，所述URL仓库(75)通过以太网与网络爬虫连通。

8.根据权利要求1所述的一种基于分布式爬虫技术的政策资讯采集管理系统，其特征在于：所述网络爬虫处理模块(7)通过ZooKeeper调节各模块工作，分布式协调工具，并且可以监控各个爬虫的运行状态，所述URL仓库(75)用于存储临时的网络页面，所述页面下载模块(74)用于下载网络页面可设置为HttpClient，所述网页分析模块(73)用于网页分析，解析出相关的需要的信息，可设置为HtmlCleaner或xPath，所述判断模块(72)用于判断网页分析模块(73)传输信息是否需要进一步传输至SQL数据库(71)，所述SQL数据库(71)用于存储爬取过来的政策资讯详细信息。