[发明专利]数据监控方法、任务监控方法、系统和计算机可读介质

说明书

本公开提供了一种数据监控方法，包括：确定待监测数据源所配置的数据到达检测策略；基于所述数据到达检测策略检测所述待监测数据源所发送的数据是否已经到达预定水平状态；当检测出所述待监测数据源所发送的数据未到达所述预定水平状态时，则继续执行所述确定待监测数据源所配置的数据到达检测策略；当检测出所述待监测数据源所发送的数据已经到达所述预定水平状态时，则将所述待监测数据源标记到达。本公开还提供了一种任务监控方法、数据监控模块、任务监控系统和计算机可读介质。

技术领域

本公开涉及数据处理技术领域，特别涉及一种数据监控方法、任务监控方法、数据监控模块、任务监控系统和计算机可读介质。

背景技术

通信运营商大数据不但具备大数据的一般特点(数据量大、数据多样性等)外，还具备有与其业务相关的特征，比如多厂商数据、数据发送时间不确定性、数据完整不确定性等。

如果按照传统的定时执行任务，则可能出现如下现象：1)在开始执行任务时，从数据源处接收到的数据不完整，导致执行任务时所使用的数据不完整，相应任务的处理结果有误；2)在开始执行任务时，数据源处提供的完整数据早已经到达，数据处理实时性较差。导致上述现象的问题在于，现有技术中缺乏对数据源所发送数据进行实时监控的机制。

发明内容

本公开旨在至少解决现有技术中存在的技术问题之一，提出了一种数据监控方法、任务监控方法、数据监控模块、任务监控系统和计算机可读介质。

第一方面，本公开实施例提供了一种数据监控方法，包括：

确定待监测数据源所配置的数据到达检测策略；

基于所述数据到达检测策略检测所述待监测数据源所发送的数据是否已经到达预定水平状态；

当检测出所述待监测数据源所发送的数据未到达所述预定水平状态时，则继续执行所述确定待监测数据源所配置的数据到达检测策略；

当检测出所述待监测数据源所发送的数据已经到达所述预定水平状态时，则将所述待监测数据源标记到达。

第二方面，本公开实施例提供了一种任务监控方法，其中，所述任务依赖于多个目标数据源所发送的数据；

针对每一个所述目标数据源，将该目标数据源作为待监测数据源，采用上述实施例所提供的所述数据监控方法对该目标数据源所发送的数据进行监控；

根据各所述目标数据源的标记结果检测所述任务是否可以开始执行，其中所述标记结果包括：标记到达或未被标记。

第三方面，本公开实施例还提供了一种数据监控模块，其中，包括：

一个或多个处理器；

存储器，其上存储有一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如前述实施例提供的数据监控方法。

第四方面，本公开实施例还提供了一种任务监控系统，其中，包括：如前述实施例所提供的数据监控模块和检测模块；

其中，所述检测模块用于根据各所述目标数据源的标记结果检测所述任务是否可以开始执行。

第五方面，本公开实施例还提供了一种计算机可读介质，其上存储有计算机程序，其中当所述计算机程序被处理器执行时实现如前述实施例所提供的数据监控方法中的步骤以及任务监控方法中的步骤。

本公开实施例提供了一种数据监控方法、任务监控方法、系统和计算机可读介质；与现有技术相比，公开的技术方案可实现对数据源所发送数据的状态进行实时监控，从而能保证接收到数据源所发送数据的完整性和可靠性。另外，本公开的技术方案还能够在监控到服务器所获取到的数据足以保证任务被有效执行时立即开始执行相应任务，可有效保证数据处理的实时性。