[发明专利]一种基于超时因子的大规模网络数据采集方法及装置

权利要求书

1.一种基于超时因子的大规模网络数据采集方法，包括如下步骤：

步骤S1，定时调度模块从数据库中加载采集任务信息；

步骤S2，定时调度模块为超时因子不等于0的设备生成采集任务，并加入采集任务队列；

步骤S3，并行数据采集模块从采集任务队列中获取并执行采集任务，根据超时因子设置采集超时时间，设置采集超时时间＝超时因子*默认采集超时时间；

步骤S4，判断采集任务是否成功执行，若成功执行则进入步骤S5执行步骤S5，若失败则进入步骤S7执行步骤S7；

步骤S5，将采集的数据加入数据队列；

步骤S6，并行数据处理模块从所述数据队列中获取并处理数据，存储到数据库中；

步骤S7，并行数据采集模块更新超时设备信息表中该设备的超时因子；调整采集任务失败时的超时因子，采用如下调整公式：

新的超时因子＝原超时因子-固定值；步骤S8，超时因子控制模块以固定频率探测超时因子为0的设备，如果设备恢复上线，则调整该设备的超时因子为最大值；

步骤S9，监听系统是否关闭，如果未关闭则执行步骤S1，否则释放资源。

2.如权利要求1所述的一种基于超时因子的大规模网络数据采集方法，其特征在于：所述采集任务信息包括但不限于任务ID、任务名称、数据类型、任务类别、调度规则。

3.如权利要求2所述的一种基于超时因子的大规模网络数据采集方法，其特征在于，步骤S2进一步包括：

步骤S200，所述定时调度模块从数据库中检索需要执行该任务且超时因子不等于0的所有网元信息；

步骤S201，为每个需要执行作业的网元生成采集任务；

步骤S202，将单个网元的采集任务加入采集任务队列中。

4.如权利要求3所述的一种基于超时因子的大规模网络数据采集方法，其特征在于：所述采集任务信息包括但不限于任务类型、根网元ID、客户ID、绑定服务的网元ID、绑定服务的网元基本信息、绑定的服务项信息、执行该任务的驱动类全称以及采集协议类型。

5.如权利要求4所述的一种基于超时因子的大规模网络数据采集方法，其特征在于：于步骤S4中，若采集任务的执行时间超过采集超时时间，则采集任务失败。

6.一种大规模网络监控数据的采集装置，包括：

定时调度模块，用于从数据库中加载采集任务信息，为超时因子不等于0的设备生成采集任务并加入采集任务队列；

并行数据采集模块，从所述采集任务队列中获取采集任务，根据超时因子设置采集超时时间＝超时因子*默认的采集超时时间，执行采集任务，并将采集的数据发送到数据队列，调整采集任务失败的设备的超时因子，调整公式为：新的超时因子＝原超时因子-固定值，超时因子最小值为0；

并行数据处理模块，用于从所述数据队列中获取数据，并进行数据归并、计算处理后存储到数据库中；

超时因子控制模块，用于从数据库中读取超时因子为0的设备并探测是否已恢复上线，对于已恢复的设备，设置其超时因子为最大值。