[发明专利]数据采集与处理的方法与装置

说明书

本发明涉及网络数据管理领域，具体涉及一种数据采集与处理的方法与装置。针对现有网络信息采集与处理的整体处理速度和系统的整体稳定性不佳的问题，本发明提供的网络信息采集与处理的装置，由配置管理模块、实时数据采集模块、实时数据处理模块、数据缓冲模块、数据存储模块组成，具有松散耦合性，扩展性强，易维护。本发明提供的网络信息采集与处理的方法，实时数据采集模块采用分布式集群采集方案，通过配置策略将采集任务分发给N(N>1)个程序去执行，实时数据处理模块采用分布式流式计算框架，通过N(N>1)个程序来完成对大量采集数据的计算与处理，可以确保数据处理速度更快。

技术领域

本发明涉及网络数据管理领域，具体涉及一种数据采集与处理的方法与装置。

背景技术

随着当前IT环境中服务器、应用数量和类型的不断地增加，各IT实验室需要通过科学 和高效的手段尽可能详细、实时和准确地获取整个架构中具体到每个服务器、每个系统甚至 每个应用程序工作的细节，并会对所获取到的原始数据进行分析、绘图和统计，为后续的性 能调优、建构调整以及各类型排错建立参考依据，因此，数据来源非常多，类型也很多样， 存储和数据处理的需求量很大，对数据展现的要求也非常高，注重数据处理的高效性和可用 性是当前IT监控领域的典型特征。

传统的数据采集来源单一，存储、管理和分析数据量也相对较小，大多采用关系型数据 库和并行数据仓库处理。传统的数据采集和处理主要包括配置管理模块、数据采集与处理模 块和数据存储模块，参见图1，配置管理模块主要负责采集项管理及任务调度管理，通过可 视化管理界面，对采集项及采集任务进行配置与调度，并把调度指令发送到数据采集与处理 模块中；数据采集与处理模块主要负责对采集代理进行管理，根据采集任务向采集代理分发 采集指标，同时将采集的数据进行计算与处理；数据存储模块主要负责对采集项、任务调度 信息、采集数据信息进行持久化存储。对依靠并行计算提升数据处理速度方面而言，传统的 并行数据库技术追求高度一致性和容错性，难以保证其可用性和扩展性。传统的大数据处理 方法以处理器为中心，而大数据环境下，需要采取以数据为中心的模式，减少数据移动带来 的开销。因此，传统的数据处理方法已经不能适应大数据的需求。

发明内容

本发明针对现有技术的不足，提供一种数据采集与处理的方法与装置。

本发明提供的网络信息采集与处理的装置，由配置管理模块、实时数据缓冲模块、实 时数据采集模块、实时数据处理模块和存储模块组成。配置管理模块主要对实验任务、设 备的基本信息、采集项的配置和场景发现策略配置进行管理；实时数据缓冲模块主要对各 模块的通讯消息进行存储与分发，采用消息中间件来处理各模块之间的消息通讯及数据的 缓存；实时数据采集模块主要负责根据采集频率对网络空间环境下的主机/服务器、路由 器、交换机和防火墙的设备信息进行实时采集，同时根据告警状态自动进行变频采集，该 模块基于分布式服务框架完成实时数据的并行采集；实时数据处理模块主要负责对采集得 到的数据进行计算和处理，通过设定的阀值或者振幅来区分采集的信息是处于正常、报警 还是预警状态，实时数据处理模块基于分布式流式计算技术，对实时数据采集模块采集的 信息进行并行处理；存储模块包括数据库服务，主要是对数据进行持久化存储。

优选的，实时数据采集模块由采集任务监听子模块、配置与分发子模块、采集子模块 组成。(1)采集任务子模块主要负责实时获取任务状态信息，并对任务进行调度；(2)配置与分发子模块主要负责对采集任务监听子模块和采集子模块的初始化注册配置，并根据调度任务将采集指标分发到各采集子模块中；(3)采集子模块由N(N>1)个采集程序组成，主要负责与网络设备进行通讯，根据采集指标完成采集任务，将获取的采集数据信息进行存储。

本发明提供的网络信息采集与处理的方法，包括以下步骤：