[发明专利]一种集群的数据处理方法及装置

权利要求书

1.一种集群的数据处理方法，其特征在于，包括：

获取第一预定时长内多个集群上运行的任务的属性信息；

根据获取的任务的属性信息，确定待复制数据以及需要复制所述待复制数据的目标集群，以便将所述待复制数据复制到所述目标集群；

其中，所述根据获取的任务的属性信息，确定待复制数据以及需要复制所述待复制数据的目标集群，包括：

根据获取的任务的属性信息，从任务跨集群读取的数据中，筛选出第一参数值满足第一条件且第二参数值满足第二条件的数据作为待复制数据；

其中，针对每个任务跨集群读取的数据，所述第一参数值为在第二预定时长内运行所述任务的集群读取所述数据的次数；所述第二参数值为在第一预定时长内所述第一参数值满足第一条件的总次数或连续次数；所述第二预定时长小于所述第一预定时长；

每个任务的属性信息至少包括：运行所述任务的集群、所述任务所读取的数据所在的集群；

所述第一条件包括：所述第一参数值大于或等于第一阈值；所述第二条件包括：所述第二参数值大于或等于第二阈值。

2.根据权利要求1所述的集群的数据处理方法，其特征在于，所述根据获取的任务的属性信息，确定待复制数据以及需要复制所述待复制数据的目标集群之后，所述数据处理方法还包括：

生成复制列表，所述复制列表用于记录所述待复制数据的位置信息、需要复制所述待复制数据的目标集群；

将所述复制列表写入元数据库，以便相关集群获取所述复制列表。

3.根据权利要求2所述的集群的数据处理方法，其特征在于，所述数据处理方法还包括：指示目标集群根据所述复制列表，复制所述待复制数据。

4.根据权利要求1所述的集群的数据处理方法，其特征在于，所述获取第一预定时长内多个集群上运行的任务的属性信息，包括：周期性获取第一预定时长内多个集群上运行的任务的属性信息。

5.一种集群的数据处理装置，其特征在于，包括：

获取单元，用于获取第一预定时长内多个集群上运行的任务的属性信息；

处理单元，用于根据获取的任务的属性信息，确定待复制数据以及需要复制所述待复制数据的目标集群，以便将所述待复制数据复制到所述目标集群；

所述处理单元，用于通过以下方式根据获取的任务的属性信息，确定待复制数据以及需要复制所述待复制数据的目标集群：

根据获取的任务的属性信息，从任务跨集群读取的数据中，筛选出第一参数值满足第一条件且第二参数值满足第二条件的数据作为待复制数据；

其中，针对每个任务跨集群读取的数据，所述第一参数值为在第二预定时长内运行所述任务的集群读取所述数据的次数；所述第二参数值为在第一预定时长内所述第一参数值满足第一条件的总次数或连续次数；所述第二预定时长小于所述第一预定时长；

每个任务的属性信息至少包括：运行所述任务的集群、所述任务所读取的数据所在的集群；

所述第一条件包括：所述第一参数值大于或等于第一阈值；所述第二条件包括：所述第二参数值大于或等于第二阈值。

6.根据权利要求5所述的集群的数据处理装置，其特征在于，所述处理单元，还用于在根据获取的任务的属性信息，确定待复制数据以及需要复制所述待复制数据的目标集群之后，生成复制列表，将所述复制列表写入元数据库，以便相关集群获取所述复制列表；其中，所述复制列表用于记录所述待复制数据的位置信息、需要复制所述待复制数据的目标集群。

7.一种集群的数据处理装置，其特征在于，包括：存储器与处理器；

其中，存储器用于存储用于进行集群数据处理的程序；该用于进行集群数据处理的程序在被处理器读取执行时，执行以下操作：

获取第一预定时长内多个集群上运行的任务的属性信息；

根据获取的任务的属性信息，确定待复制数据以及需要复制所述待复制数据的目标集群，以便将所述待复制数据复制到所述目标集群；

其中，所述根据获取的任务的属性信息，确定待复制数据以及需要复制所述待复制数据的目标集群，包括：

根据获取的任务的属性信息，从任务跨集群读取的数据中，筛选出第一参数值满足第一条件且第二参数值满足第二条件的数据作为待复制数据；

其中，针对每个任务跨集群读取的数据，所述第一参数值为在第二预定时长内运行所述任务的集群读取所述数据的次数；所述第二参数值为在第一预定时长内所述第一参数值满足第一条件的总次数或连续次数；所述第二预定时长小于所述第一预定时长；

每个任务的属性信息至少包括：运行所述任务的集群、所述任务所读取的数据所在的集群；

所述第一条件包括：所述第一参数值大于或等于第一阈值；所述第二条件包括：所述第二参数值大于或等于第二阈值。