[发明专利]一种数据处理方法和设备

权利要求书

1.一种数据处理方法，所述方法包括：

获取待上传数据，并将所述待上传数据转换成多个数据块的采集任务；

设置每个所述数据块的采集任务的任务名称和每个服务器对应的服务地址；

定义每个所述数据块的采集任务的任务名称、每个所述数据块的采集任务的采集状态、每个所述数据块的采集任务对应的服务地址和指示关于采集任务的情况的含义之间的第一关系；

定义每个服务器的服务地址、服务器的额定任务数、每个服务器的服务状态和指示关于服务器运行情况的含义之间的第二关系；

获取所述服务器集群中的所述每个服务器的负载，并基于所述每个服务器的负载、所述第一关系和所述第二关系给所述每个服务器分配所述采集任务；其中，所述服务器集群中包括至少两个用于采集所述待上传数据并上传至数据处理平台的服务器。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

通过每个服务器的心跳信息，获取所述服务器集群中的处于异常状态且分配有第一采集任务的第一服务器；

若所述第一采集任务与所述数据块的采集任务匹配，设置所述第一服务器的服务状态为第一状态，并设置所述第一采集任务的采集状态的标识为第一标识；其中，第一状态指示服务器异常；所述第一标识指示所述第一采集任务未被采集。

3.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：

获取所述数据块的采集任务中需要重新分配服务器且未被采集的第二采集任务；

从所述服务器集群中获取服务器上运行的任务数小于额定任务数且服务状态正常的第二服务器；其中，所述额定任务数指的是服务器上最大可运行的任务数；

按照所述第二服务器的额定任务数，将所述第二采集任务分配给所述第二服务器；

若所述第二服务器上运行的任务数等于额定任务数，设置所述第二服务器的服务状态为第二状态；其中，所述第二状态指示服务器的服务状态正常且运行的任务数等于额定任务数。

4.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：

获取所述数据块的采集任务中采集异常且未被采集的第三采集任务；

从所述服务器集群中获取服务器上运行的任务数小于额定任务数且服务状态正常的第二服务器，并计算第二服务器上剩余可运行的任务数；

基于所述第二服务器上剩余可运行的任务数，将所述第三采集任务分配至所述第二服务器。

5.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：

从所述服务器集群中，获取服务器上运行的任务数大于额定任务数且服务状态正常的第四服务器，并获取服务器上运行的任务数小于额定任务数且服务状态正常的第二服务器；

基于所述第二服务器的额定任务数和所述第二服务器上运行的任务数，计算所述第二服务器上剩余可运行的任务数；

停止所述第四服务器中超出额定任务的采集任务的线程；

将所述第四服务器中的第一数量个超出额定任务的采集任务分配至所述第二服务器，并设置所述第一数量个超出额定任务的采集任务的采集状态的标识为第二标识；其中，所述第二标识指示采集任务重新分配了服务器且当前已被采集；所述第一数量为所述第二服务器上剩余可运行的任务数量。

6.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：

获取所述数据块的采集任务中已分配服务器且未被采集的第四采集任务；

创建并执行采集任务线程，并设置所述第四采集任务的采集状态标识为第三标识；其中，所述第三标识指示采集任务当前正在被采集；

获取所述数据块的采集任务中需要重新分配服务器且已被采集的第五采集任务；

中止用于采集所述第五采集任务的线程，并设置所述第五采集任务采集状态的标识为第四标识；其中，所述第四标识指示采集任务需要重新分配服务器且当前未被采集。

7.一种数据处理设备，其特征在于，所述设备包括：处理器、存储器和通信总线；

所述通信总线用于实现处理器和存储器之间的通信连接；

所述处理器用于执行存储器中存储的数据处理程序，以实现以下步骤：

获取待上传数据，并将所述待上传数据转换成多个数据块的采集任务；

设置每个所述数据块的采集任务的任务名称和每个服务器对应的服务地址；

定义每个所述数据块的采集任务的任务名称、每个所述数据块的采集任务的采集状态、每个所述数据块的采集任务对应的服务地址和指示关于采集任务的情况的含义之间的第一关系；

定义每个服务器的服务地址、服务器的额定任务数、每个服务器的服务状态和指示关于服务器运行情况的含义之间的第二关系；

获取所述服务器集群中的所述每个服务器的负载，并基于所述每个服务器的负载、所述第一关系和所述第二关系给所述每个服务器分配所述采集任务；其中，所述服务器集群中包括至少两个用于采集所述待上传数据并上传至数据处理平台的服务器。