[发明专利]一种数据处理方法及装置

摘要

本发明实施例提供的一种数据处理方法及装置，应用于分布式数据处理系统中的客户端，方法包括：接收针对待处理数据的数据处理指令，确定有效数据片段；获得有效数据片段的数据分布信息；将每个有效数据片段的数据范围划分成至少一个子数据范围；生成针对每个有效数据片段的数据处理任务；向任务调度器发送数据处理请求，以使得任务调度器确定执行每一数据处理任务的数据处理服务器并向其发送其要处理的数据处理任务以及接收针对所分配的子数据范围进行数据处理的处理结果；接收任务调度器反馈的针对待处理数据的处理结果。应用本发明实施例，提高了分布式数据处理系统中数据处理服务器的并行处理速度，提高了分布式数据处理系统的整体处理性能。

主权项

一种数据处理方法，其特征在于，应用于分布式数据处理系统中的客户端；其中，所述分布式数据处理系统包括：客户端、任务调度器、多个数据处理服务器和多个存储服务器；所述存储服务器中存储有多个数据片段，各个数据片段中存储有多条数据记录，所述方法包括：接收针对待处理数据的数据处理指令；根据所述数据处理指令，确定有效数据片段；其中，所述有效数据片段为针对所述待处理数据的数据片段；获得所述有效数据片段中已存储的数据记录的数据分布信息；其中，所述数据分布信息为：按照预设的统计规则对每个数据片段中的数据记录的数量进行统计得到的信息；根据所获得的数据分布信息，将每个有效数据片段的数据范围划分成至少一个子数据范围；按照划分得到的各个子数据范围，生成针对每个有效数据片段的数据处理任务；其中，一个数据处理任务对应一个有效数据片段的一个子数据范围；向所述任务调度器发送针对所述数据处理任务的数据处理请求，以使得所述任务调度器根据所述数据处理请求确定执行每一数据处理任务的数据处理服务器，其中，所述任务调度器确定数据处理服务器后，向所确定的数据处理服务器发送其要处理的数据处理任务，并接收所确定的各个数据处理服务器针对所分配的子数据范围进行数据处理的处理结果；接收所述任务调度器反馈的针对待处理数据的处理结果。