[发明专利]一种任务处理方法、装置、电子设备及存储介质

权利要求书

1.一种任务处理方法，其特征在于，所述方法包括：

获取针对第一业务数据的处理任务，作为第一处理任务；其中，所述第一业务数据包含多个对象的业务数据；

基于各对象的业务数据的数据量，从所述各对象中确定业务数据的数据量大于预设阈值的对象，作为目标对象；其中，所述预设阈值为基于各对象的业务数据的数据量确定的；

从所述第一业务数据中提取所述目标对象的业务数据，作为第二业务数据，以及确定所述第一业务数据中除所述第二业务数据之外的其他业务数据，作为第三业务数据；

生成针对所述第二业务数据的处理任务，作为第二处理任务，以及生成针对所述第三业务数据的处理任务，作为第三处理任务；

分别执行所述第二处理任务和所述第三处理任务，得到所述第二处理任务的处理结果和所述第三处理任务的处理结果；

对所述第二处理任务的处理结果和所述第三处理任务的处理结果进行合并处理，得到所述第一处理任务的处理结果。

2.根据权利要求1所述的方法，其特征在于，在所述基于各对象的业务数据的数据量，从所述各对象中确定业务数据的数据量大于预设阈值的对象，作为目标对象之前，所述方法还包括：

从所述第一处理任务的结构化查询语言SQL执行计划中，获取键key字段的参数值，得到所述各对象各自的对象标识；

针对每一对象，从所述第一处理任务的SQL执行计划中，获取该对象的对象标识对应的行数Number Rows字段的参数值，以及数据量Data size字段的参数值，得到该对象的业务数据的数据量。

3.根据权利要求1所述的方法，其特征在于，在所述基于各对象的业务数据的数据量，从所述各对象中确定业务数据的数据量大于预设阈值的对象，作为目标对象之前，所述方法还包括：

按照各对象的业务数据的数据量从小至大的顺序，对各对象的业务数据进行排序，得到目标排序结果；

确定所述目标排序结果中指定位置处的业务数据的数据量，作为预设阈值。

4.根据权利要求1所述的方法，其特征在于，在所述获取针对第一业务数据的处理任务，作为第一处理任务之后，所述方法还包括：

从所述第一处理任务的配置信息中，获取为用于执行所述第一处理任务的执行器Executor进程配置的内存，以及为用于执行所述第一处理任务的驱动器Driver进程配置的内存；

计算为用于执行所述第一处理任务的Executor进程配置的内存，以及为用于执行所述第一处理任务的Driver进程配置的内存的和值，得到执行所述第一处理任务时所使用的内存；

如果所述第一业务数据的数据量大于执行所述第一处理任务时所使用的内存，确定在执行所述第一处理任务时会发生内存溢出；

所述方法还包括：

如果所述各对象中不存在业务数据的数据量大于预设阈值的目标对象，对所述第一处理任务进行划分，得到所述第一处理任务的多个子处理任务；其中，每一子处理任务处理的业务数据的数据量不大于执行所述第一处理任务时所使用的内存；

分别执行所述第一处理任务的各子处理任务，得到所述第一处理任务的各子处理任务的处理结果，并对所述第一处理任务的各子处理任务的处理结果进行合并处理，得到所述第一处理任务的处理结果。