[发明专利]处理方法和处理装置

说明书

本申请公开一种处理方法，应用于集群中的计算节点，包括：统计计算节点中待处理数据的数据量；获得计算节点的指定的初始并行度，并基于待处理数据的数据量处理初始并行度。通过待处理数据的数据量处理指定的初始并行度，可以动态调整Shuffle任务所占用的计算资源，从而提高平台整体的计算效率和资源利用率。

技术领域

本申请涉及大数据技术领域，更具体地说，涉及一种处理方法和处理装置。

背景技术

Spark是一种基于内存计算的分布式大数据并行处理平台，它集批处理、实时流处理、交互式查询与图计算于一体。

现有Spark往往基于预设参数确定Shuffle的并行度，但在处理过程中就很容易出现物理资源浪费。

发明内容

为解决上述问题，本申请提供如下技术方案：

一种处理方法，应用于集群中的计算节点，包括：

统计所述计算节点中待处理数据的数据量；

获得所述计算节点的指定的初始并行度，并基于所述待处理数据的数据量处理所述初始并行度。

优选的，其中，所述统计所述计算节点中待处理数据的数据量，包括：

至少获得所述待处理数据的需求内存。

优选的，其中，所述基于所述待处理数据的数据量处理所述初始并行度，包括：

至少基于所述待处理数据的需求内存确定所述计算节点的并行度允许范围；

根据所述并行度允许范围处理所述初始并行度。

优选的，其中，所述至少基于所述待处理数据的需求内存确定所述计算节点的并行度允许范围，包括：

根据所述待处理数据的需求内存和预设内存分区规则确定所述计算节点的第一并行度允许范围。

优选的，其中，所述至少基于所述待处理数据的需求内存确定所述计算节点的并行度允许范围，还包括：

根据所述待处理数据的数据行数和预设行数分区规则处理所述第一并行度允许范围，得到第二并行度允许范围。

优选的，所述方法还包括：

获得所述计算节点的硬件状态，并基于所述计算节点的硬件状态调整所述初始并行度的处理结果。

优选的，其中，所述获得所述计算节点的硬件状态，包括：

获得所述计算节点中CPU核的数量。

优选的，其中，所述获得所述计算节点的硬件状态，还包括：

获得所述CPU核的资源占用情况，所述资源占用情况至少包括占用内存。

优选的，其中，所述资源占用情况还包括：

网络传输速率和/或I/O读写速率。

一种处理装置，包括：

统计模块，用于统计所述计算节点中待处理数据的数据量；

处理模块，用于获得所述计算节点的指定的初始并行度，并基于所述待处理数据的数据量处理所述初始并行度。

经由上述的技术方案可知，本申请实施例提供一种处理方法，针对现有处理过程中所出现的物理资源浪费，通过待处理数据的数据量处理指定的初始并行度，可以动态调整Shuffle任务所占用的计算资源，从而提高平台整体的计算效率和资源利用率。

附图说明