[发明专利]一种数据处理方法及装置

权利要求书

1.一种数据处理方法，其特征在于，应用于分布式数据处理系统中的客户端；其中，所述分布式数据处理系统包括：客户端、任务调度器、多个数据处理服务器和多个存储服务器；所述存储服务器中存储有多个数据片段，各个数据片段中存储有多条数据记录，所述方法包括：

接收针对待处理数据的数据处理指令；

根据所述数据处理指令，确定有效数据片段；其中，所述有效数据片段为针对所述待处理数据的数据片段；

获得所述有效数据片段中已存储的数据记录的数据分布信息；其中，所述数据分布信息为：按照预设的统计规则对每个数据片段中的数据记录的数量进行统计得到的信息；

根据所获得的数据分布信息，将每个有效数据片段的数据范围划分成至少一个子数据范围；

按照划分得到的各个子数据范围，生成针对每个有效数据片段的数据处理任务；其中，一个数据处理任务对应一个有效数据片段的一个子数据范围；

向所述任务调度器发送针对所述数据处理任务的数据处理请求，以使得所述任务调度器根据所述数据处理请求确定执行每一数据处理任务的数据处理服务器，其中，所述任务调度器确定数据处理服务器后，向所确定的数据处理服务器发送其要处理的数据处理任务，并接收所确定的各个数据处理服务器针对所分配的子数据范围进行数据处理的处理结果；

接收所述任务调度器反馈的针对待处理数据的处理结果。

2.根据权利要求1所述的方法，其特征在于，所述存储服务器根据以下步骤统计得到所述各个数据片段中任一数据片段R_i中已存储的数据记录的数据分布信息：

所述存储服务器将所述数据片段R_i内的各条数据记录按照预设的标识值排序；

按照排序后所述数据片段R_i中的数据记录的排列顺序，将排序后的所述数 据片段R_i划分成至少一个数据区间；

统计划分得到的各个数据区间内的数据记录的数量；

根据统计得到的数量获得所述数据片段R_i内数据记录的数据分布信息。

3.根据权利要求2所述的方法，其特征在于，所述根据统计得到的数量获得所述数据片段R_i内数据记录的数据分布信息，包括：

计算所述数据片段R_i的数据记录的数量的方差；

判断所述方差是否大于预设的数据片段方差阈值；

如果是，判断是否满足以下表达式：N_um≥Th₁，或，N_um≤Th₂，如果满足则统计所述数据片段R_i划分得到的各个数据区间内的数据记录的数量，并按照统计后的数量更新所述数据分布信息；其中，N_um表示数据片段R_i划分得到的各个数据区间内的数据记录的数量，Th₁表示预设的第一数量阈值，Th₂表示预设的第二数量阈值，且Th₁≥Th₂；

如果否，则保持当前的数据分布信息。

4.根据权利要求2所述的方法，其特征在于，所述根据统计得到的数量获得所述数据片段R_i内数据记录的数据分布信息，包括：

判断所述数据片段R_i的数据记录的数量是否满足预设的数据区间调整条件；

若满足，按照预设的区间调整规则对所述数据片段R_i中各个数据区间进行调整，并根据调整后各个数据区间内的数据记录的数量，获得所述数据片段R_i内数据记录的数据分布信息；

其中，所述预设的区间调整规则，包括：

获得统计得到的所述数据片段R_i中数据记录的数量大于预设的第一数量阈值Th₃的数据区间；

按照预设的数据区间拆分规则，将数据记录的数量大于Th₃的数据区间分别拆分为多个子数据区间。