[发明专利]数据采集与处理的方法与装置

权利要求书

1.一种网络信息采集与处理的装置，由配置管理模块、实时数据缓冲模块、实时数据采集模块、实时数据处理模块和存储模块组成：配置管理模块主要对实验任务、设备的基本信息、采集项的配置和场景发现策略配置进行管理；实时数据缓冲模块主要对各模块的通讯 消息进行存储与分发，采用消息中间件来处理各模块之间的消息通讯及数据的缓存；实时数 据采集模块主要负责根据采集频率对网络空间环境下的主机/服务器、路由器、交换机和防 火墙的设备信息进行实时采集，同时根据告警状态进行自动变频采集，实时数据采集模块基 于分布式服务框架完成实时数据的并行采集；实时数据处理模块主要负责采集数据的计算与 处理，通过设定的阀值或者振幅来区分采集的信息是处于正常、报警、预警状态，实时数据 处理模块基于分布式流式计算技术，对实时数据采集模块采集的信息进行并行处理；存储模 块包括数据库服务，主要是对数据进行持久化存储。

2.根据权利要求1所述的网络信息采集与处理的装置，其特征是，所述实时数据采集模块由采集任务监听子模块、配置与分发子模块、采集子模块组成；采集任务子模块主要负现实时获取任务状态信息，并对任务进行调度，配置与分发子模块主要负责采集任务监听子 模块和采集子模块初始化注册配置，并根据调度任务将采集指标分发到各采集子模块中，采 集子模块由N(N>1)个采集程序组成，主要负责与网络设备进行通讯，根据采集指标完成采集 任务，将获取的采集数据信息进行存储。

3.一种网络信息采集与处理的方法，包括以下步骤：

(1)配置管理模块向存储模块发送管理请求，管理请求包括实验场景信息管理、网络设备管理、采集项配置管理、实验场景发现策略配置管理等；配置管理模块与存储模块建立数据库连接，执行数据操作，数据操作包括数据增加、数据删除、数据修改和数据查询，配置管理模块通过存储模块的缓存接口访问缓存数据；配置管理模块接收存储模块的数据库服 务器或者缓存服务器返回的数据信息或状态信息，同时对采集的数据信息和实验场景记录信 息通过可视化浏览器界面进行可视化展示，完成管理操作；配置管理模块基于实时数据缓冲 模块的API通讯接口，向实时数据缓冲模块发送任务调度请求，任务调度请求包括任务的停 止、暂停或启动；

(2)实时数据采集模块基于实时数据缓冲模块的API通讯接口接收任务调度请求，并根据任务调度请求进行操作，如果是暂停或停止，实时数据采集模块将暂停或停止采集任务； 如果是启动，实时数据采集模块启动采集任务，根据采集频率将采集项进行分发，通过分布 式集群采集技术，由N(N>1)个程序进行同步采集；实时数据采集模块通过实时数据缓冲模 块的API通讯接口，将采集的数据进行缓存；

(3)实时数据处理模块基于实时数据缓冲模块的API通讯接口从消息队列中实时获取网络设备采集信息，通过分布式流式计算框架，采用N(N>1)个程序对采集项进行计算与处理， 根据实验场景配置策略对网络设备采集的信息进行验证并记录，并通过预先设定的阀值或者 振幅来验证网络设备采集的信息；通过阀值验证得到实验场景网络设备报警信息，通过振幅 验证得到实验场景网络设备预警信息；实时数据处理模块通过实时数据缓冲模块API通讯接 口将实验场景记录存储到消息队列中；实时数据采集模块基于实时数据缓冲模块API通讯接 口获取实验场景记录，并根据实验场景记录状态，自动改变采集频率对场景发生的采集项进 行采集；实时数据采集模块将采集的数据通过实时数据缓冲模块API通讯接口将实验场景记 录存储到消息队列中；实时数据处理模块基于实时数据缓冲模块的API通讯接口从消息队列 中实时获取实验场景采集信息；通过分布式流式计算框架，采用N(N>1)个程序对采集项进行 计算与处理；根据实验场景配置策略对网络设备采集的信息进行验证并记录，并通过设置的 阀值和振幅来验证获取网络设备状态：a)在没有达到阀值或者振幅范围内信息属于正常信 息，为了方便历史信息查询，将正常信息保存到数据库，b)通过阀值验证得到实验场景网 络设备报警信息，该报警信息会在可视化界面提供消息提醒，并根据该报警信息进行自动变 频率采集，c)通过振幅范围验证得到实验场景网络设备预警信息，预警信息只在可视化界 面上提供消息提醒；实验场景信息记录通过数据库接口保存到数据库中。