[发明专利]网络信息采集与处理的装置和方法

摘要

本发明涉及网络数据管理领域，具体涉及一种网络信息采集与处理的装置和方法。针对现有网络信息采集与处理的整体处理速度和系统的整体稳定性不佳的问题，本发明提供的网络信息采集与处理的装置，由配置管理模块、实时数据采集模块、实时数据处理模块、数据缓冲模块、数据存储模块组成，具有松散耦合性，扩展性强，易维护。本发明提供的网络信息采集与处理的方法，实时数据采集模块采用分布式集群采集方案，通过配置策略将采集任务分发给N(N>1)个程序去执行，实时数据处理模块采用分布式流式计算框架，通过N(N>1)个程序来完成对大量采集数据的计算与处理，可以确保数据处理速度更快。

主权项

一种网络信息采集与处理的装置，由配置管理模块、实时数据缓冲模块、实时数据采集模块、实时数据处理模块和存储模块组成：配置管理模块主要对实验任务、设备的基本信息、采集项的配置和场景发现策略配置进行管理；实时数据缓冲模块主要对各模块的通讯消息进行存储与分发，采用消息中间件来处理各模块之间的消息通讯及数据的缓存；实时数据采集模块主要负责根据采集频率对网络空间环境下的主机/服务器、路由器、交换机和防火墙的设备信息进行实时采集，同时根据告警状态进行自动变频采集，实时数据采集模块基于分布式服务框架完成实时数据的并行采集；实时数据处理模块主要负责采集数据的计算与处理，通过设定的阀值或者振幅来区分采集的信息是处于正常、报警、预警状态，实时数据处理模块基于分布式流式计算技术，对实时数据采集模块采集的信息进行并行处理；存储模块包括数据库服务，主要是对数据进行持久化存储。