[发明专利]数据处理方法、装置、电子设备及存储介质

权利要求书

1.一种数据处理方法，其特征在于，所述方法包括：

响应于任务处理指令，确定待处理任务的任务资源消耗信息；

获取预设的任务模板配置信息，基于所述任务资源消耗信息对所述任务模板配置信息中的节点资源参数进行配置，得到所述待处理任务对应的初始任务配置信息；所述任务模板配置信息中包括多个可动态配置的参数；

基于所述待处理任务中多个子任务的任务标识，对所述初始任务配置信息中的任务参数进行配置，得到所述待处理任务对应的目标任务配置信息；

基于所述目标任务配置信息，将所述待处理任务中的多个子任务分配到第一目标节点资源参数对应的多个第一目标节点，所述第一目标节点资源参数为与所述任务资源消耗信息对应的节点资源参数；其中，所述第一目标节点对应至少一个子任务。

2.根据权利要求1所述的方法，其特征在于，所述基于所述目标任务配置信息，将所述待处理任务中的多个子任务分配到第一目标节点资源参数对应的多个第一目标节点包括：

基于所述目标任务配置信息中的目标任务参数，以及所述第一目标节点资源参数，确定与所述子任务对应的第一目标节点标识；所述目标任务参数为与所述多个子任务的任务标识对应的任务参数；

将所述子任务分配到与所述子任务对应的第一目标节点；所述第一目标节点为所述第一目标节点标识对应的节点。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

响应于存储资源处理指令，确定待处理存储资源的资源存储消耗信息；

获取预设的资源模板配置信息，基于所述资源存储消耗信息对所述资源模板配置信息中的节点资源参数进行配置，得到所述待处理存储资源对应的初始资源配置信息；

基于所述待处理存储资源中多项存储资源的资源标识对所述初始资源配置信息中的存储资源参数进行配置，得到所述待处理存储资源对应的目标资源配置信息；

基于所述目标资源配置信息，将所述待处理存储资源中的多项存储资源分配到第二目标节点资源参数对应的多个第二目标节点，所述第二目标节点资源参数为与所述资源存储消耗信息对应的节点资源参数；

其中，所述第二目标节点对应至少一项存储资源。

4.根据权利要求3所述的方法，其特征在于，所述基于所述目标资源配置信息，将所述待处理存储资源中的多项存储资源分配到第二目标节点资源参数对应的多个第二目标节点包括：

基于所述目标资源配置信息中的目标资源参数，以及所述第二目标节点参数，确定与每项存储资源对应的第二目标节点标识；所述目标资源参数为与所述多项存储资源的资源标识对应的资源参数；

将所述存储资源分配到与所述存储资源对应的第二目标节点；所述第二目标节点为所述第二目标节点标识对应的节点。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

基于任务处理速度与分布式集群的匹配信息，确定集群规模变更意图；

根据所述集群规模变更意图，对所述分布式集群中的节点资源进行变更。

6.一种数据处理方法，其特征在于，所述方法包括：

接收至少一个子任务，所述至少一个子任务是集群管理节点基于预设的任务模板配置信息、待处理任务的任务资源消耗信息，以及所述待处理任务中多个子任务的任务标识进行分配的；所述任务模板配置信息中包括多个可动态配置的参数；

获取与所述子任务对应的待处理资源；

基于与所述子任务对应的待处理资源执行所述子任务，得到与所述子任务对应的已处理资源。

7.根据权利要求6所述的方法，其特征在于，所述基于与所述子任务对应的待处理资源执行所述子任务，得到与所述子任务对应的已处理资源包括：

在基于所述待处理资源执行所述子任务的过程中出现任务中断时，确定任务断点；

基于所述任务断点重复执行所述子任务，得到所述已处理资源。