[发明专利]数据处理的方法及装置

权利要求书

1.一种数据处理的方法，其特征在于，所述方法包括：

获取第一任务，所述第一任务为第一作业分解获得的多个任务中任意一个，所述第一作业为大数据分析中一个完整任务；

按照预设规则选择执行所述第一任务的第一节点，所述预设规则用于指示节点中可复用的数据和所述第一任务待处理的数据的关联关系；

向所述第一节点发送所述第一任务。

2.根据权利要求1所述的方法，其特征在于，按照预设规则选择执行所述第一任务的第一节点，包括：

根据所述节点缓存中数据与所述第一任务待处理的数据关联的可复用的数据选择所述第一节点。

3.根据权利要求1所述的方法，其特征在于，所述按照预设规则选择执行所述第一任务的第一节点，包括：

根据所述多个节点中数据分布情况和所述第一任务待处理的数据的关联关系筛选第二节点集合，所述第二节点集合中包括至少一个节点；

根据所述第二节点集合中节点执行所述第一任务的计算开销在所述第二节点集合中选择一个节点作为所述第一节点。

4.根据权利要求1或3所述的方法，其特征在于，在所述获取第一任务之前，所述方法还包括：

获取统计数据，所述统计数据包括第一数据和第二数据，所述第一数据用于指示节点的磁盘的数据分布情况，第二数据用于指示节点的缓存的数据分布情况；

则根据所述多个节点中数据分布情况和所述第一任务待处理的数据的关联关系筛选第二节点集合，包括：

根据所述统计数据与所述第一任务待处理的数据的关联关系筛选出所述第二节点集合。

5.根据权利要求4所述的方法，其特征在于，所述第二数据包括第二作业处理的数据在缓存的分布情况，所述第二作业包括已经完成执行的作业；

所述第二节点集合包括用于执行所述第二作业的任务的节点，且执行所述第二作业的任务所处理的数据包括所述可复用的数据。

6.根据权利要求5所述的方法，其特征在于，所述第二数据包括第三作业处理的数据在缓存的分布情况，所述第三作业包括正在执行的作业；

所述第二节点集合包括用于执行所述第三作业的任务的节点，且执行所述第三作业的任务所处理的数据包括所述可复用的数据。

7.一种数据处理的装置，其特征在于，所述装置包括：

获取单元，用于获取第一任务，所述第一任务为第一作业分解获得的多个任务中任意一个，所述第一作业为大数据分析中一个完整任务；

选择单元，用于按照预设规则选择执行所述第一任务的第一节点，所述预设规则用于指示节点中可复用的数据和所述第一任务待处理的数据的关联关系；

发送单元，用于向所述第一节点发送所述第一任务。

8.根据权利要求7所述的装置，其特征在于，

所述选择单元，还用于根据所述节点缓存中数据与所述第一任务待处理的数据关联的可复用的数据选择所述第一节点。

9.根据权利要求7所述的装置，其特征在于，

所述选择单元，还用于根据所述多个节点中数据分布情况和所述第一任务待处理的数据的关联关系筛选第二节点集合，所述第二节点集合中包括至少一个节点；根据所述第二节点集合中节点执行所述第一任务的计算开销在所述第二节点集合中选择一个节点作为所述第一节点。

10.根据权利要求7或9所述的装置，其特征在于，

所述获取单元，还用于在获取第一任务之前，获取统计数据，所述统计数据包括第一数据和第二数据，所述第一数据用于指示节点的磁盘的数据分布情况，第二数据用于指示节点的缓存的数据分布情况；

所述选择单元，还用于根据所述统计数据与所述第一任务待处理的数据的关联关系筛选出所述第二节点集合。