[发明专利]一种分布式数据处理方法

权利要求书

1.一种分布式数据处理方法，其特征在于，包括：

通过主控制节点获取数据处理任务，建立数据处理任务的第一排队队列；根据第一预设规则获取第一排队队列中数据处理任务的第一优先级信息；

根据所述第一优先级信息按照第二预设规则选取第一目标数据处理任务；

通过第一分布式节点对所述第一目标数据处理任务进行分片处理，得到多个子第一目标数据处理任务；

获取多个子第一目标数据处理任务的标识信息，根据所述多个子第一目标数据处理任务的标识信息对执行所述多个子第一目标数据处理任务的第二分布式节点进行分配，得到第一分配方式。

2.如权利要求1所述的分布式数据处理方法，其特征在于，在一个第二分布式节点处理多个子第一目标数据处理任务时，创建相应数量的处理进程并行处理多个子第一目标数据处理任务。

3.如权利要求1所述的分布式数据处理方法，其特征在于，在第二分布式节点处理子目标数据处理任务，还包括：

判断是否有新增的数据处理任务；

在确定有新增的数据处理任务时，建立数据处理任务的第二排队队列；根据第一预设规则获取第二排队队列中数据处理任务的第二优先级信息；

根据所述第二优先级信息按照第二预设规则选取第二目标数据处理任务；

通过第一分布式节点对所述第二目标数据处理任务进行分片处理，得到多个子第二目标数据处理任务；

获取多个子第二目标数据处理任务的标识信息，根据所述多个子第二目标数据处理任务的标识信息对执行所述多个子第二目标数据处理任务的第二分布式节点进行分配，得到第二分配方式。

4.如权利要求1所述的分布式数据处理方法，其特征在于，还包括：

第一分布式节点向主控制节点发送第一心跳包；

所述主控制节点根据所述第一心跳包判断第一分布式节点在对第一目标数据处理任务进行分片处理时是否出现异常，在确定第一分布式节点在对第一目标数据处理任务进行分片处理出现异常时，将第一目标数据处理任务作为待数据处理任务，建立数据处理任务的第三排队队列。

5.如权利要求1所述的分布式数据处理方法，其特征在于，还包括：

第二分布式节点向主控制节点发送第二心跳包；

所述主控制节点根据所述第二心跳包判断第二分布式节点在处理子第一目标数据处理任务时是否出现异常，在确定第二分布式节点在处理子第一目标数据处理任务时出现异常时，将子第一目标数据处理任务作为待数据处理任务，建立数据处理任务的第四排队队列。

6.如权利要求1所述的分布式数据处理方法，其特征在于，获取多个子第一目标数据处理任务的处理结果并存储在分布式文件系统中，所述处理结果包括第一处理结果和第二处理结果，包括：

激活分布式文件系统的存储主节点；

基于第一处理结果的第一写入请求和第二处理结果的第二写入请求，判断第一写入请求和第二写入请求是否具有相同的写入类型；

在判断第一写入请求和第二写入请求具有相同的写入类型时，将第一写入请求和第二写入请求合并为一个写入请求，得到第一联合写入请求；

根据第一联合写入请求，将第一处理结果和第二处理结果写入存储主节点。

7.如权利要求6所述的分布式数据处理方法，其特征在于，还包括：

获取存储主节点在运行过程中产生的元数据；

在存储主节点出现故障时，启用分布式文件系统的备用节点，备用节点在获取存储主节点在运行过程中产生的元数据后实现数据写入功能。

8.如权利要求7所述的分布式数据处理方法，其特征在于，多个子第一目标数据处理任务的处理结果被划分为多个数据块进行存储，所述数据块包括多个副本；根据用户的查询需求进行数据块存储数据进行访问，获取对数据块副本的预估访问频率，算法包括：

计算下一周期数据块的预估访问频率：

S_i+1＝aS_i+S_i-1-aS_i-1

其中，a为权值系数，a∈[0,1]，S_i为当前周期数据块的访问频率，S_i-1为上一周期数据块的访问频率；m为当前周期数据块的访问次数，T为周期。

下一周期数据块副本的预估访问频率：

其中，k为副本数量。