[发明专利]数据采集与处理的方法与装置

摘要

本发明涉及网络数据管理领域，具体涉及一种数据采集与处理的方法与装置。针对现有网络信息采集与处理的整体处理速度和系统的整体稳定性不佳的问题，本发明提供的网络信息采集与处理的装置，由配置管理模块、实时数据采集模块、实时数据处理模块、数据缓冲模块、数据存储模块组成，具有松散耦合性，扩展性强，易维护。本发明提供的网络信息采集与处理的方法，实时数据采集模块采用分布式集群采集方案，通过配置策略将采集任务分发给N(N>1)个程序去执行，实时数据处理模块采用分布式流式计算框架，通过N(N>1)个程序来完成对大量采集数据的计算与处理，可以确保数据处理速度更快。

主权项

1.一种网络信息采集与处理的装置，由配置管理模块、实时数据缓冲模块、实时数据 采集模块、实时数据处理模块和存储模块组成：配置管理模块主要对实验任务、设备的基本 信息、采集项的配置和场景发现策略配置进行管理；实时数据缓冲模块主要对各模块的通讯 消息进行存储与分发，采用消息中间件来处理各模块之间的消息通讯及数据的缓存；实时数 据采集模块主要负责根据采集频率对网络空间环境下的主机/服务器、路由器、交换机和防 火墙的设备信息进行实时采集，同时根据告警状态进行自动变频采集，实时数据采集模块基 于分布式服务框架完成实时数据的并行采集；实时数据处理模块主要负责采集数据的计算与 处理，通过设定的阀值或者振幅来区分采集的信息是处于正常、报警、预警状态，实时数据 处理模块基于分布式流式计算技术，对实时数据采集模块采集的信息进行并行处理；存储模 块包括数据库服务，主要是对数据进行持久化存储。