[发明专利]一种分布式数据处理方法

说明书

本发明公开了一种分布式数据处理方法，包括：通过主控制节点获取数据处理任务，建立数据处理任务的第一排队队列；根据第一预设规则获取第一排队队列中数据处理任务的第一优先级信息；根据所述第一优先级信息按照第二预设规则选取第一目标数据处理任务；通过第一分布式节点对所述第一目标数据处理任务进行分片处理，得到多个子第一目标数据处理任务；获取多个子第一目标数据处理任务的标识信息，根据所述多个子第一目标数据处理任务的标识信息对执行所述多个子第一目标数据处理任务的第二分布式节点进行分配，得到第一分配方式。对数据处理要求高的数据处理任务进行及时处理，保证该数据处理任务的时效性及准确性，提高数据处理效率。

技术领域

本发明涉及计算机技术领域，特别涉及一种分布式数据处理方法。

背景技术

分布式数据处理系统(Distributed Data Stream Management System，DDSMS)是可以对数据进行分布式处理的系统。DDSMS可以极大地缩短数据处理时间，提高响应速度，在实际生活中具有极其广泛的用途。在现有分布式数据处理系统中，在获取数据处理任务后进行无差别的处理这些数据，对一些处理要求高的数据处理任务不能及时处理，分布式数据处理效率还有待提高。

发明内容

本发明旨在至少一定程度上解决上述技术中的技术问题之一。为此，本发明的目的在于提出一种分布式数据处理方法，对数据处理要求高的数据处理任务进行及时处理，保证该数据处理任务的时效性及准确性，提高数据处理效率。

为达到上述目的，本发明实施例提出了一种分布式数据处理方法，包括：

通过主控制节点获取数据处理任务，建立数据处理任务的第一排队队列；根据第一预设规则获取第一排队队列中数据处理任务的第一优先级信息；

根据所述第一优先级信息按照第二预设规则选取第一目标数据处理任务；

通过第一分布式节点对所述第一目标数据处理任务进行分片处理，得到多个子第一目标数据处理任务；

获取多个子第一目标数据处理任务的标识信息，根据所述多个子第一目标数据处理任务的标识信息对执行所述多个子第一目标数据处理任务的第二分布式节点进行分配，得到第一分配方式。

根据本发明实施例提出了一种分布式数据处理方法，根据数据处理任务的具体处理要求，获取数据处理任务的第一优先级信息，根据第一优先级信息优先处理要求高的数据处理任务，使数据处理要求高的数据处理任务进行及时完成，保证该数据处理任务的时效性及准确性。在主控制节点根据第一优先级信息选取第一目标数据处理任务、在第一分布式节点将第一目标数据处理任务进行分片处理，得到多个子第一目标数据处理任务、按照合理的分配方式，在第二分布式节点上处理子第一目标数据处理任务，这样设置可以提高数据进行并行处理，提高数据的处理效率。

根据本发明的一些实施例，在一个第二分布式节点处理多个子第一目标数据处理任务时，创建相应数量的处理进程并行处理多个子第一目标数据处理任务。

根据本发明的一些实施例，在第二分布式节点处理子目标数据处理任务，还包括：

判断是否有新增的数据处理任务；

在确定有新增的数据处理任务时，建立数据处理任务的第二排队队列；根据第一预设规则获取第二排队队列中数据处理任务的第二优先级信息；

根据所述第二优先级信息按照第二预设规则选取第二目标数据处理任务；

通过第一分布式节点对所述第二目标数据处理任务进行分片处理，得到多个子第二目标数据处理任务；

获取多个子第二目标数据处理任务的标识信息，根据所述多个子第二目标数据处理任务的标识信息对执行所述多个子第二目标数据处理任务的第二分布式节点进行分配，得到第二分配方式。