[发明专利]一种基于分布式爬虫技术的政策资讯采集管理系统

说明书

本发明公开了一种基于分布式爬虫技术的政策资讯采集管理系统，包括数据集中处理中心，所述数据集中处理中心输出端分别设有紧急预警端、数据查看端和管理操控端，所述紧急预警端、数据查看端和管理操控端相互连通，所述数据集中处理中心通过以太网传输线缆分别连接有数据备份数据库和数据存储数据库，所述数据集中处理中心连接端设有多个网络爬虫处理模块。本发明通过设有网络爬虫处理模块，网络爬虫处理模块通过ZooKeeper调节各模块工作，分布式协调工具，并且可以监控各个爬虫的运行状态，政策资讯详细信息通过网络爬虫处理模块处理后可以进一步传输至数据集中处理中心，可以确保提取信息的准确度且提高了数据的提取速率。

技术领域

本发明涉及政策资讯系统，特别涉及一种基于分布式爬虫技术的政策资讯采集管理系统。

背景技术

目前出台了很多对企业有帮扶作用的政策，但因为相关政策数量大，且制定机关不同，企业无法了解清楚和全面，通常通过人工查询对政策进行查询获取相关信息，并在自行筛选后获取政策并进行解读，在这个过程中会浪费了大量的人力资源，对政策的人工筛选也加大了企业的人力成本，因此，发明一种基于分布式爬虫技术的政策资讯采集管理系统来解决上述问题很有必要。

发明内容

本发明的目的在于提供一种基于分布式爬虫技术的政策资讯采集管理系统，通过设有网络爬虫处理模块，网络爬虫处理模块通过ZooKeeper调节各模块工作，分布式协调工具，并且可以监控各个爬虫的运行状态，页面下载模块下载URL仓库存储的网络页面并通过网页分析模块进行网页分析，解析出相关的需要的信息后传输至判断模块，判断模块将信息传输至SQL数据库后，政策资讯详细信息可以进一步传输至数据集中处理中心将信息进行进一步整合，并传输至数据查看端为工作人员进行查看，可以确保提取信息的准确度且提高了数据的提取速率，以解决通过人工查询对政策进行查询获取相关信息，并在自行筛选后获取政策并进行解读，在这个过程中会浪费了大量的人力资源，对政策的人工筛选也加大了企业的人力成本的问题。

为实现上述目的，本发明提供如下技术方案：一种基于分布式爬虫技术的政策资讯采集管理系统，包括数据集中处理中心，所述数据集中处理中心输出端分别设有紧急预警端、数据查看端和管理操控端，所述紧急预警端、数据查看端和管理操控端相互连通，所述数据集中处理中心通过以太网传输线缆分别连接有数据备份数据库和数据存储数据库，所述数据集中处理中心连接端设有多个网络爬虫处理模块，所述网络爬虫处理模块包括SQL数据库、判断模块、网页分析模块、页面下载模块和URL仓库。

优选的，所述数据集中处理中心包括数据接收模块、数据传输模块、数据处理模块、数据分析模块和数据提取模块，所述数据集中处理中心用于接收网络爬虫处理模块传输数据并进行处理和传输，可以分别传输信号至紧急预警端、数据查看端和管理操控端并可以将需要存储的数据传输至数据备份数据库和数据存储数据库内部进行存储。

优选的，所述紧急预警端包括警报器和预警装置，所述预警装置内部设有SIM卡且输出端设有手机APP端，用于及时将预警信息传输至工作人员。

优选的，所述数据查看端用于工作人员进行查看数据集中处理中心处理后所提取的政策资讯信息，所述数据查看端设置为多个显示屏。

优选的，所述管理操控端与数据集中处理中心之间连通有输入模块，所述输入模块用于工作人员输入关键词至数据集中处理中心后数据集中处理中心对关键词在网络爬虫内进行搜寻并获取相应的资讯信息，所述管理操控端内部设有密码验证模块，所述密码验证模块用于验证工作人员身份。

优选的，所述数据备份数据库用于存储系统工作过程中可用的资讯信息，所述数据存储数据库用于存储系统工作过程中由网络爬虫处理模块传输至数据集中处理中心的数据，所述数据备份数据库与数据存储数据库相互连通。