[实用新型]中小微企业网络信息采集分析系统

权利要求书

1.一种中小微企业网络信息采集分析系统，包括网络信息采集子系统、网络信息分析子系统以及最终用户，网络信息采集子系统、网络信息分析子系统以及最终用户均部署于同一局域网内，并通过路由器接入运营商的方式访问Internet；其特征在于：还包括由多个VPN代理服务器构成的代理服务器集群，所述网络信息采集子系统由爬取设置客户端、爬取主控节点、多个爬取节点以及数据接收、汇总服务器组成，爬取设置客户端用于配置数据源、关键词和爬取策略，爬取主控节点根据爬取设置客户端的配置为各个爬取节点分配任务，爬取节点根据爬取主控节点分配的任务选择一个VPN连接连入远程VPN代理服务器，使用VPN代理服务器访问Internet中的目标数据源；数据接收、汇总服务器用于接收和存储爬取节点采集的网络数据。

2.根据权利要求1所述的中小微企业网络信息采集分析系统，其特征在于：所述网络信息分析子系统由Hadoop集群和应用服务器组成，Hadoop集群由一台主节点NameNode和多台从节点DataNode组成，Hadoop集群用于接收和存储数据接收、汇总服务器发送的网络数据；应用服务器用于接收用户的请求并将处理结果反馈给用户。

3.根据权利要求2所述的中小微企业网络信息采集分析系统，其特征在于：所述用户通过应用服务器提交请求并获取所需信息；用户与应用服务器间可通过B/S形式或C/S形式交互信息。

4.根据权利要求2所述的中小微企业网络信息采集分析系统，其特征在于：所述网络信息采集子系统和网络信息分析子系统的各设备均为逻辑划分，并非每个设备均需一个物理设备与其对应；爬取主控节点的功能可由某一个爬取节点承担；数据接收、汇总服务器既可并入Hadoop集群，由其中的某台服务器承担其功能，也可由爬取主控节点承担其功能；应用服务器可并入Hadoop集群，由其中的某台服务器承担其功能。