[发明专利]数据处理方法、装置、电子设备及存储介质

说明书

本公开关于一种数据处理方法、装置、电子设备及存储介质，所述方法包括：响应于任务处理指令，确定待处理任务的任务资源消耗信息；获取预设的任务模板配置信息，基于所述任务资源消耗信息对所述任务模板配置信息中的节点资源参数进行配置，得到所述待处理任务对应的初始任务配置信息；基于所述待处理任务中多个子任务的任务标识，对所述初始任务配置信息中的任务参数进行配置，得到所述待处理任务对应的目标任务配置信息；基于所述目标任务配置信息，将所述待处理任务中的多个子任务分配到第一目标节点资源参数对应的多个第一目标节点。本公开能够解决相关技术中对集群中的处理节点分配不灵活的问题。

技术领域

本公开涉及数据处理技术领域，尤其涉及一种数据处理方法、装置、电子设备及存储介质。

背景技术

在对大量数据以及高数量级任务的处理场景下，例如对于高数量级数据的实时收集、实时计算以及实时反馈处理结果的任务，其具有数据量大、要求快速处理、要求结果可靠等特点，仅仅依靠单机处理效率较低。

相关技术中，为了应对单机计算性能上的不足，通过引入服务器集群参与并行计算，其一般为待处理任务分配的处理节点以及为存储数据资源分配的处理节点均是固定的，从而不能够对处理节点进行灵活分配。

发明内容

本公开提供一种数据处理方法、装置、电子设备及存储介质，以至少解决相关技术中对集群中的处理节点分配不灵活的问题。本公开的技术方案如下：

根据本公开实施例的第一方面，提供一种数据处理方法，所述方法包括：

响应于任务处理指令，确定待处理任务的任务资源消耗信息；

获取预设的任务模板配置信息，基于所述任务资源消耗信息对所述任务模板配置信息中的节点资源参数进行配置，得到所述待处理任务对应的初始任务配置信息；

基于所述待处理任务中多个子任务的任务标识，对所述初始任务配置信息中的任务参数进行配置，得到所述待处理任务对应的目标任务配置信息；

基于所述目标任务配置信息，将所述待处理任务中的多个子任务分配到第一目标节点资源参数对应的多个第一目标节点，所述第一目标节点资源参数为与所述任务资源消耗信息对应的节点资源参数；

其中，所述第一目标节点对应至少一个子任务。

在一示例性实施例中，所述基于所述目标任务配置信息，将所述待处理任务中的多个子任务分配到第一目标节点资源参数对应的多个第一目标节点包括：

基于所述目标任务配置信息中的目标任务参数，以及所述第一目标节点资源参数，确定与所述子任务对应的第一目标节点标识；所述目标任务参数为与所述多个子任务的任务标识对应的任务参数；

将所述子任务分配到与所述子任务对应的第一目标节点；所述第一目标节点为所述第一目标节点标识对应的节点。

在一示例性实施例中，所述方法还包括：

响应于存储资源处理指令，确定待处理存储资源的资源存储消耗信息；

获取预设的资源模板配置信息，基于所述资源存储消耗信息对所述资源模板配置信息中的节点资源参数进行配置，得到所述待处理存储资源对应的初始资源配置信息；

基于所述待处理存储资源中多项存储资源的资源标识对所述初始资源配置信息中的存储资源参数进行配置，得到所述待处理存储资源对应的目标资源配置信息；

基于所述目标资源配置信息，将所述待处理存储资源中的多项存储资源分配到第二目标节点资源参数对应的多个第二目标节点，所述第二目标节点资源参数为与所述资源存储消耗信息对应的节点资源参数；

其中，所述第二目标节点对应至少一项存储资源。