[发明专利]数据采集方法、装置及电子设备

说明书

本发明提供了一种数据采集方法、装置及电子设备，涉及采集技术领域，该方法包括接收指令中心发送的数据采集指令，确定数据采集指令对应的目标网元；其中，数据采集指令中携带有目标网元的标识；根据目标网元的标识，在第一预设存储区中查询目标网元的当前状态信息的参数值；其中，第一预设存储区中存储有多个网元的当前状态信息的参数值；当前状态信息包括连线状态、负荷状态和剩余负载量；判断目标网元的当前状态信息的参数值是否符合预设数据采集标准；如果是，根据数据采集指令对目标网元中的数据进行数据采集操作。本发明提供的上述方式能够有效提升数据采集的可持续性和数据的完整性。

技术领域

本发明涉及采集技术领域，尤其是涉及一种数据采集方法、装置及电子设备。

背景技术

目前针对数据统一采集的平台，更多的是考虑平台自身的负载均衡，保障平台自身运行的稳定性和强壮性。但是针对采集对象，诸如网元的安全性和负载能力的考虑比较欠缺，容易发生由于采集平台的高并发采集动作而导致采集对象异常或者挂机的情况。

这样的情况会严重影响采集对象自身承载运行的业务，使采集对象不能够稳定运行，难以保证数据采集的可持续性以及数据的完整性。

发明内容

有鉴于此，本发明的目的在于提供一种数据采集方法、装置及电子设备，以提升数据采集的可持续性以及数据的完整性。

第一方面，本发明实施例提供了一种数据采集方法，该方法应用于网元采集系统，包括：接收指令中心发送的数据采集指令，确定数据采集指令对应的目标网元；其中，数据采集指令中携带有目标网元的标识；根据目标网元的标识，在第一预设存储区中查询目标网元的当前状态信息的参数值；其中，第一预设存储区中存储有多个网元的当前状态信息的参数值；当前状态信息包括连线状态、负荷状态和剩余负载量；判断目标网元的当前状态信息的参数值是否符合预设数据采集标准；如果是，根据数据采集指令对目标网元中的数据进行数据采集操作。

结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，上述网元采集系统上搭建有spark计算引擎；通过以下方式获取多个网元的负荷状态的参数值：按照预设优先级顺序，获取多个网元在当前时刻的多种负荷指标的数值；将多个网元的多种负荷指标的数值存入第二预设存储区中，以使spark计算引擎根据从第二预设存储区提取出的多个网元的多种负荷指标的数值，以实时流式计算方式分别计算得到每个网元在当前时刻的负荷分数；基于每个网元在当前时刻的负荷分数，确定多个网元在第一预设存储区中的负荷状态的参数值。

结合第一方面的第一种可能的实施方式，本发明实施例提供了第一方面的第二种可能的实施方式，其中，在将多个网元的多种负荷指标的数值存入第二预设存储区中之后，上述方法还包括：分别为第二预设存储区中的每种负荷指标设置失效时长；当达到失效时长时，更新失效时长对应的负荷指标的数值。

结合第一方面的第一种可能的实施方式，本发明实施例提供了第一方面的第三种可能的实施方式，其中，上述第一预设存储区是基于K-V库结构所建立的；连线状态的参数值和负荷状态的参数值的取值均为0或1。

结合第一方面的第三种可能的实施方式，本发明实施例提供了第一方面的第四种可能的实施方式，其中，上述基于每个网元在当前时刻的负荷分数，确定多个网元在第一预设存储区中的负荷状态的参数值的步骤，包括：逐一判断每个网元在当前时刻的负荷分数是否大于第一预设阈值；如果是，确定网元在第一预设存储区中的负荷状态的参数值为0；如果否，确定网元在第一预设存储区中的负荷状态的参数值为1。

结合第一方面的第三种可能的实施方式，本发明实施例提供了第一方面的第五种可能的实施方式，其中，上述方法还包括：监测每个网元的工作状态，当工作状态为在线时，确定网元在第一预设存储区中的连线状态的参数值为1；当工作状态为离线时，确定网元在第一预设存储区中的连线状态的参数值为0。