[发明专利]一种任务处理方法、装置、电子设备及存储介质

说明书

本发明实施例提供了一种任务处理方法、装置、电子设备及存储介质，涉及计算机技术领域，包括：获取针对第一业务数据的第一处理任务；第一业务数据包含多个对象的业务数据；基于各对象的业务数据的数据量，从各对象中确定业务数据的数据量大于预设阈值的目标对象；从第一业务数据中提取目标对象的第二业务数据，并确定第一业务数据中除第二业务数据之外的第三业务数据；生成针对第二业务数据的第二处理任务和针对第三业务数据的第三处理任务；分别执行第二处理任务和第三处理任务得到对应的处理结果；对第二处理任务的处理结果和第三处理任务的处理结果进行合并处理，得到第一处理任务的处理结果，可以降低第一处理任务的执行失败的概率。

技术领域

本发明涉及计算机技术领域，特别是涉及一种任务处理方法、装置、电子设备及存储介质。

背景技术

Spark是一种用于进行数据处理的处理引擎，相关技术中，在对业务产生的业务数据进行数据分析时，由技术人员开发针对业务数据的Spark任务。进而，执行Spark任务，得到业务数据的处理结果。例如，执行Spark任务对业务数据进行过滤、聚合等处理。后续，技术人员可以基于业务数据的处理结果，对业务进行升级优化等。

然而，业务数据包含使用该业务的多个对象产生的业务数据，在Spark任务执行的过程中，由于每个对象产生的业务数据的数据量不同，如果单个对象的业务数据的数据量过大，远远超过了其他对象的业务数据的数据量，可能会发生数据倾斜，进行导致Spark任务执行失败。

发明内容

本发明实施例的目的在于提供一种任务处理方法、装置、电子设备及存储介质，以避免由于数据倾斜导致第一处理任务执行失败的情况，降低第一处理任务的执行失败的概率。具体技术方案如下：

在本发明实施的第一方面，首先提供了一种任务处理方法，所述方法包括：

获取针对第一业务数据的处理任务，作为第一处理任务；其中，所述第一业务数据包含多个对象的业务数据；

基于各对象的业务数据的数据量，从所述各对象中确定业务数据的数据量大于预设阈值的对象，作为目标对象；其中，所述预设阈值为基于各对象的业务数据的数据量确定的；

从所述第一业务数据中提取所述目标对象的业务数据，作为第二业务数据，以及确定所述第一业务数据中除所述第二业务数据之外的其他业务数据，作为第三业务数据；

生成针对所述第二业务数据的处理任务，作为第二处理任务，以及生成针对所述第三业务数据的处理任务，作为第三处理任务；

分别执行所述第二处理任务和所述第三处理任务，得到所述第二处理任务的处理结果和所述第三处理任务的处理结果；

对所述第二处理任务的处理结果和所述第三处理任务的处理结果进行合并处理，得到所述第一处理任务的处理结果。

可选的，在所述基于各对象的业务数据的数据量，从所述各对象中确定业务数据的数据量大于预设阈值的对象，作为目标对象之前，所述方法还包括：

从所述第一处理任务的结构化查询语言SQL执行计划中，获取键key字段的参数值，得到所述各对象各自的对象标识；

针对每一对象，从所述第一处理任务的SQL执行计划中，获取该对象的对象标识对应的行数Number Rows字段的参数值，以及数据量Data size字段的参数值，得到该对象的业务数据的数据量。

可选的，在所述基于各对象的业务数据的数据量，从所述各对象中确定业务数据的数据量大于预设阈值的对象，作为目标对象之前，所述方法还包括：

按照各对象的业务数据的数据量从小至大的顺序，对各对象的业务数据进行排序，得到目标排序结果；

确定所述目标排序结果中指定位置处的业务数据的数据量，作为预设阈值。