[发明专利]数据处理的方法、装置及系统

说明书

本发明公开了一种数据处理的方法、装置及系统，涉及电通信技术领域，能够解决系统整体处理效率低下的问题。本发明的方法包括：获取当前批次数据并确定当前处理节点数量；根据所述当前处理节点数量对所述当前批次数据进行平均切片，获得与所述当前处理节点数量等同的至少两个数据子集；将所述至少两个数据子集分配给各个当前处理节点进行处理。本发明主要应用于网络数据处理的过程中。

技术领域

本发明涉及电通信技术领域，尤其涉及一种数据处理的方法、装置及系统。

背景技术

随着互联网的普及和发展，网络侧的数据量成几何形态增长，如何利用有限的处理节点对庞大的数据量进行有效处理，已然成为业界面临的一大课题。

目前比较主流的数据处理方式为：系统根据数据的属性信息对数据进行分类，将不同类别的数据分配给不同的处理节点进行处理。例如，系统可以根据数据类型、数据关键字或者数据来源对数据进行分类，每个处理节点处理一种类别的数据。这种数据处理的方式能够较好的利用处理节点的性能差异对不同类别的数据进行处理，实现对数据的专一化处理。

在上述数据处理的过程中，发明人发现现有技术中至少存在如下问题：由于系统根据数据的类别对处理节点进行数据分配，各个处理节点分配到的数据量往往彼此不同，因此会常常出现某些处理节点数据量较少、某些处理节点数据量较大的情况。由于系统整体的处理效率是基于系统中所有处理节点的处理效率而言的，只有在所有处理节点均完成各自的数据处理任务后系统的数据处理任务才算完成，所以如果某个处理节点分配的数据量过大，则该处理节点处理数据所耗费的时间过长，继而会影响到系统整体的处理效率。

发明内容

本发明实施例提供一种数据处理的方法、装置及系统，能够解决系统整体处理效率低下的问题。

一方面，本发明实施例提供了一种数据处理的方法，包括：

获取当前批次数据并确定当前处理节点数量；

根据所述当前处理节点数量对所述当前批次数据进行平均切片，获得与所述当前处理节点数量等同的至少两个数据子集；

将所述至少两个数据子集分配给各个当前处理节点进行处理。

另一方面，本发明实施例还提供了一种数据处理的装置，包括：

获取单元，用于获取当前批次数据；

确定单元，用于确定当前处理节点数量；

处理单元，用于根据所述确定单元确定的所述当前处理节点数量对所述获取单元获取的所述当前批次数据进行平均切片，获得与所述当前处理节点数量等同的至少两个数据子集；

发送单元，用于将所述处理单元获得的所述至少两个数据子集分配给各个当前处理节点进行处理。

再一方面，本发明实施例还提供了一种数据处理的系统，包括：中央控制设备以及至少两个处理节点，其中，所述中央控制设备包含前述数据处理的装置；

所述中央控制设备，用于获取当前批次数据并确定当前处理节点数量，根据所述当前处理节点数量对所述当前批次数据进行平均切片，获得与所述当前处理节点数量等同的至少两个数据子集，将所述至少两个数据子集分配给各个当前处理节点进行处理；

所述当前处理节点，用于获取所述中央控制设备分配的数据子集，并对所述数据子集进行处理。