[发明专利]数据处理任务执行进度的监测方法及装置

说明书

本申请公开了一种数据处理任务执行进度的监测方法及装置。其中，该方法包括：获取数据处理任务的标识，并依据标识查找数据处理任务对应的待处理数据；确定待处理数据的数据量以及执行数据处理任务的设备的当前可用计算资源；依据待处理数据的数据量以及当前可用计算资源对数据处理任务的执行进度进行监测。本申请解决了目前利用CDP系统对客户上传的人群包数据进行处理分析的过程中，无法实时动态地对数据处理任务的执行进度进行监控，导致无法掌控数据处理任务的执行进度，影响用户的使用体验的技术问题。

技术领域

本申请涉及数据处理领域，具体而言，涉及一种数据处理任务执行进度的监测方法及装置。

背景技术

客户数据平台(Customer Data Platform，CDP)系统中最主要的功能就是数据洞察，客户上传人群包数据到系统中，设定分析维度进行分析得出想要的结果。而系统分析出结果的速度是客户最为关注的，目前对任务执行的时间进度没有监控，任务什么时候执行完什么时候客户才能看到结果，或者等了很久最终任务执行失败没有得出想要的结果，用户体验较差且经常耽误客户使用。

目前只能对任务执行的最终结果(成功/失败)进行报警，缺点是滞后不及时、不智能，不能预先通知相关人员对任务进行及时处理。因为如果任务的执行时间大大超过了客户要求拿到结果时间，从业务层面来讲也是属于失败的。

针对目前利用CDP系统对客户上传的人群包数据进行处理分析的过程中，无法实时动态地对数据处理任务的执行进度进行监控，导致无法掌控数据处理任务的执行进度，影响用户的使用体验的问题，目前尚未提出有效的解决方案。

发明内容

本申请实施例提供了一种数据处理任务执行进度的监测方法及装置，以至少解决目前利用CDP系统对客户上传的人群包数据进行处理分析的过程中，无法实时动态地对数据处理任务的执行进度进行监控，导致无法掌控数据处理任务的执行进度，影响用户的使用体验的技术问题。

根据本申请实施例的一个方面，提供了一种数据处理任务执行进度的监测方法，包括：获取数据处理任务的标识，并依据标识查找数据处理任务对应的待处理数据；确定待处理数据的数据量以及执行数据处理任务的设备的当前可用计算资源；依据待处理数据的数据量以及当前可用计算资源对数据处理任务的执行进度进行监测。

可选地，依据待处理数据的数据量以及当前可用计算资源对数据处理任务的执行进度进行监测，包括：依据待处理数据的数据量以及当前可用计算资源，确定在当前可用计算资源下，执行完成数据处理任务所需的第一时长；比较第一时长与第一预设时长，如果第一时长超过第一预设时长，减少待处理数据的数据量或者增加执行数据处理任务的设备的可用计算资源。

可选地，依据待处理数据的数据量以及当前可用计算资源对数据处理任务的执行进度进行监测，还包括：获取数据处理任务完成第一目标进度时所需的第二时长；比较第二时长与第二预设时长，其中，第二预设时长是预估的数据处理任务完成第一目标进度时所需的时长；如果第二时长与第二预设时长不匹配，生成报警信号。

可选地，获取数据处理任务完成第一目标进度时所需的第二时长，包括如下至少之一：按照数据处理任务执行进度的预设进度间隔获取数据处理任务完成第一目标进度时所需的第二时长；按照预设时间间隔获取数据处理任务完成第一目标进度时所需的第二时长。

可选地，确定执行数据处理任务的设备的当前可用计算资源，包括：依据队列空闲资源值、设备的集群整体空闲资源值以及设备在预设时间段内即将释放的资源值确定设备的集群算力值，其中，集群算力值用于表征设备的当前可用计算资源，队列用于处理数据处理任务。

可选地，上述方法还包括：如果可用计算资源增加，依据数据处理任务的当前完成进度以及新增加的可用计算资源，确定执行数据处理任务的剩余进度时，完成第二目标进度时所需的第三时长；比较第三时长与第三预设时长，其中，第三预设时长是预估的数据处理任务完成第二目标进度时所需的时长；如果第三时长与第三预设时长不匹配，生成报警信号。