[发明专利]数据处理的方法、装置及系统

权利要求书

1.一种数据处理的方法，其特征在于，包括：

获取当前批次数据；

确定当前处理节点数量，具体包括：根据服务质量要求以及节约系统资源的因素确定当前处理节点的数量；所述服务质量要求包括预设处理时长，所述预设处理时长为满足服务质量要求的处理时长；若所述当前处理节点的数据处理时长超过所述预设处理时长，则增加当前处理节点的数量；若所述当前处理节点的数据处理时长小于所述预设处理时长，则按照节约系统资源的原则减少所述当前处理节点的数量；其中，所述当前处理节点是在数据处理系统中随机选择的处理节点，所述数据处理系统中的所有处理节点均为同质处理节点；

根据所述当前处理节点数量对所述当前批次数据进行平均切片，获得与所述当前处理节点数量等同的至少两个数据子集；

将所述至少两个数据子集分配给各个当前处理节点进行处理。

2.根据权利要求1所述的数据处理的方法，其特征在于，所述确定当前处理节点数量的步骤包括：

获取预设处理时长；

根据所述预设处理时长以及处理节点的标准处理效率计算标准数据子集的大小；

将所述当前批次数据与所述标准数据子集的大小相除，获得所述当前处理节点数量。

3.根据权利要求2所述的数据处理的方法，其特征在于，所述根据所述当前处理节点数量对所述当前批次数据进行平均切片的步骤包括：

根据所述当前批次数据中每条数据的标识信息以及哈希散列算法，对所述当前批次数据进行平均切片，其中所述哈希散列算法中散列值的数量与所述当前处理节点数量相等。

4.根据权利要求2所述的数据处理的方法，其特征在于，所述根据所述当前处理节点数量对所述当前批次数据进行平均切片的步骤包括：

根据所述当前批次数据中每条数据的标识信息以及除余算法，对所述当前批次数据进行平均切片，其中所述除余算法中的除数为所述当前处理节点的数量。

5.根据权利要求2所述的数据处理的方法，其特征在于，所述根据所述当前处理节点数量对所述当前批次数据进行平均切片的步骤包括：

根据所述当前批次数据中每条数据的标识信息对所述当前批次数据进行排序，获得数据序列；

从所述数据序列的第一条数据开始，轮询为每一个数据子集分配至少一条数据，直到所述当前批次数据分配完尽为止。

6.根据权利要求3至5中任一项所述的数据处理的方法，其特征在于，所述标识信息包括下述信息中的至少一种信息：数据的时间戳、数据的标识编号、数据源端的设备编号或者数据大小。

7.根据权利要求6所述的数据处理的方法，其特征在于，所述方法进一步包括：

记录前一批次数据的处理时长，所述处理时长为系统处理所述前一批次数据时整体的数据处理时长；

根据所述前一批次数据的处理时长对当前处理节点数量进行调整。

8.根据权利要求7所述的数据处理的方法，其特征在于，所述根据所述前一批次数据的处理时长对当前处理节点数量进行调整的步骤包括：

判断所述前一批次数据的处理时长是否落入预设处理时长区间；

当所述前一批次数据的处理时长小于所述预设处理时长区间下限值时，减少所述当前处理节点数量；

当所述前一批次数据的处理时长大于所述预设处理时长区间上限值时，增加所述当前处理节点数量。

9.根据权利要求8所述的数据处理的方法，其特征在于，所述当所述前一批次数据的处理时长小于所述预设处理时长区间下限值时，减少所述当前处理节点数量的步骤包括：

计算所述预设处理时长区间下限值与所述前一批次数据的处理时长之间的第一时长差值a；

根据所述第一时长差值a检索第一映射关系表，获得需要减少的处理节点数量N，其中所述第一映射关系表用于表征第一时长差值与第一浮动数量之间的对应关系；

对所述当前处理节点中的N个处理节点进行冻结，其中所述a及所述N均为大于0的正整数。