[发明专利]一种基于超时因子的大规模网络数据采集方法及装置

说明书

本发明公开了一种基于超时因子的大规模网络数据采集方法及装置，该方法包括：S1，定时调度模块加载采集任务信息；S2，为超时因子不为0的设备生成采集任务并加入采集任务队列；S3，并行数据采集模块获取并执行采集任务，设置采集超时时间；S4，判断采集任务是否成功执行，若成功则执行S5，失败则执行S7；S5，将采集的数据加入数据队列；S6，并行数据处理模块从队列中获取并处理数据；S7，并行数据采集模块更新超时设备信息表中该设备的超时因子；S8，超时因子控制模块以固定频率探测超时因子为0的设备，若恢复上线，则调整设备超时因子为最大值；S9，监听系统是否关闭，若未关闭则执行S1，否则释放资源。

技术领域

本发明涉及网络监控技术领域，特别是涉及一种基于超时因子的大规模网络数据采集方法及装置。

背景技术

中国电信网管专家服务是一项与中国电信大网网络监控中心联接，为客户提供一站式的涵盖线路和网络设备的远程监控管理服务。网管专家系统可以统一第三方平台、自主平台、二层网络自服务监控平台、七层流量监控、机房管家、ITSM平台等多平台的数据、客户和配置信息，提升了对客户需求的响应速度，增加了客户的感知度。

然而，现有技术的网管专家服务监控的设备数量大，如何在极短时间内(最小采集频率为10秒)完成大量设备的数据采集和处理工作是目前系统面临的一大难题。

发明内容

为克服上述现有技术存在的不足，本发明之目的在于提供一种基于超时因子的大规模网络数据采集方法及装置，赋予系统面对大规模数据采集的自适应能力，避免出现数据采集任务堆积得情况，有效提高数据采集效率及平台的整体监控灵敏度。

为达上述目的，本发明提出一种基于超时因子的大规模网络数据采集方法，包括如下步骤：

步骤S1，定时调度模块从数据库中加载采集任务信息；

步骤S2，定时调度模块为超时因子不等于0的设备生成采集任务，并加入采集任务队列；

步骤S3，并行数据采集模块从采集任务队列中获取并执行采集任务，根据超时因子设置采集超时时间设置采集超时时间＝超，时因子*默认采集超时时间；

步骤S4，判断采集任务是否成功执行，若成功执行则进入步骤S5执行步骤S5，若失败则进入步骤S7执行步骤S7；

步骤S5，将采集的数据加入数据队列；

步骤S6，并行数据处理模块从所述数据队列中获取并处理数据，存储到数据库中；

步骤S7，并行数据采集模块更新超时设备信息表中该设备的超时因子；调整采集任务失败时的超时因子，采用如下调整公式：

新的超时因子＝原超时因子-固定值；

步骤S8，超时因子控制模块以固定频率探测超时因子为0的设备，如果设备恢复上线，则调整该设备的超时因子为最大值；

步骤S9，监听系统是否关闭，如果未关闭则执行步骤S1，否则释放资源。

优选地，所述采集任务信息包括但不限于任务ID、任务名称、数据类型、任务类别、调度规则。

优选地，步骤S2进一步包括：

步骤S200，所述定时调度模块从数据库中检索需要执行该任务且超时因子不等于0的所有网元信息；

步骤S201，为每个需要执行作业的网元生成采集任务；

步骤S202，将单个网元的采集任务加入采集任务队列中；

优选地，所述采集任务信息包括但不限于任务类型、根网元ID、客户ID、绑定服务的网元ID、绑定服务的网元基本信息、绑定的服务项信息、执行该任务的驱动类全称以及采集协议类型。