[发明专利]数据处理方法及装置

说明书

本申请实施例提供一种数据处理方法及装置，该方法包括：获取待处理任务的数量，以及各所述待处理任务之间的链路依赖关系；获取每个待处理任务的权重值；根据所述待处理任务的数量、所述链路依赖关系、以及所述每个待处理任务的权重值，确定每个待处理任务的重要等级。本申请实施例的方案，通过待处理任务的数量、权重值和链路依赖关系来确定待处理任务的重要等级，提高了待处理任务重要等级标识的准确性。

技术领域

本申请实施例涉及大数据技术领域，尤其涉及一种数据处理方法及装置。

背景技术

随着大数据时代的到来，企业中每天需要计算海量的大数据，用于支撑企业营销和运营。

由于大数据的任务数量规模巨大，通常在万级、十万级甚至百万级。由于计算任务庞大，因此需要对计算任务进行重要度标识，以便优先处理较为重要的计算任务。目前的重要度标识主要是通过人工主观设置，对整体的大数据平台而言作业的重要程度不够准确。

发明内容

本发明实施例提供一种数据处理方法及装置，以解决通过人工主观设置待处理任务的重要等级，标识不够准确的问题。

第一方面，本申请实施例提供一种数据处理方法，包括：

获取待处理任务的数量，以及各所述待处理任务之间的链路依赖关系；

获取每个待处理任务的权重值；

根据所述待处理任务的数量、所述链路依赖关系、以及所述每个待处理任务的权重值，确定每个待处理任务的重要等级。

在一种可能的实施方式中，根据所述待处理任务的数量、所述链路依赖关系、以及所述每个待处理任务的权重值，确定每个待处理任务的重要等级，包括：

获取每个待处理任务的初始网页排名PR值；

根据所述链路依赖关系，确定每个待处理任务的出链任务，所述待处理任务的出链任务为需要获取所述待处理任务的处理结果进行处理的任务；

根据所述初始PR值、所述待处理任务的数量、所述每个待处理任务的出链任务、以及所述权重值，确定每个待处理任务的重要等级。

在一种可能的实施方式中，根据所述初始PR值、所述待处理任务的数量、所述每个待处理任务的出链任务、以及所述权重值，确定每个待处理任务的重要等级，包括：

根据所述初始PR值、所述待处理任务的数量、所述每个待处理任务的出链任务、以及所述权重值，确定每个待处理任务的稳定PR值；

根据每个待处理任务的稳定PR值，确定每个待处理任务的重要等级。

在一种可能的实施方式中，根据所述初始PR值、所述待处理任务的数量、所述每个待处理任务的出链任务、以及所述权重值，确定每个待处理任务的稳定PR值，包括：

根据所述初始PR值、所述待处理任务的数量、所述每个待处理任务的出链任务、以及所述权重值进行迭代处理，得到每次迭代后的每个待处理任务的PR值；

在所述迭代处理的次数大于或等于预设次数，或者，两次迭代后得到的每个待处理任务的PR值的差值均小于或等于预设值时，停止所述迭代处理，并将最后一次迭代处理得到的每个待处理任务的PR值确定为每个待处理任务的稳定PR值。

在一种可能的实施方式中，获取每个待处理任务的权重值，包括：

获取每个待处理任务的业务维度信息和平台维度信息；

根据每个待处理任务的业务维度信息和平台维度信息，获取每个待处理任务的权重值。

在一种可能的实施方式中，所述方法还包括：

根据每个待处理任务的稳定PR值，确定各资源队列的重要等级；