[发明专利]一种千万级数据分片处理方法和装置

权利要求书

1.一种千万级数据分片处理方法，其特征在于，包括：

将分片机计算功能和业务处理功能解耦，并由分片机主动进行分片数据抢占任务；

分片机根据自身性能实时申请分片数据；

将每一台分片机申请所得的数据分为多个线程并行处理；

最后一台处理完的分片机进行后置处理工作。

2.根据权利要求1所述的千万级数据分片处理方法，其特征在于，所述将分片机计算功能和业务处理功能解耦，并由分片机主动进行分片数据抢占任务具体包括：

随机一台分片机接收到业务处理请求；

该分片机处理完前置工作后通知Zookeeper进行请求广播；

所有分片机监听到广播后，同时开始主动抢占分片数据。

3.根据权利要求2所述的千万级数据分片处理方法，其特征在于，在抢占分片数据过程中，若分片机宕机重启后，会进行自动检测且继续加入任务集群。

4.根据权利要求2所述的千万级数据分片处理方法，其特征在于，所述前置工作具体包括白名单测试、设定本次处理数据的起止位置、任务加锁以及记录相关任务信息。

5.根据权利要求1所述的千万级数据分片处理方法，其特征在于，所述分片机根据自身性能实时申请分片数据具体包括：

将所有分片机进行编号；

确定每台分片机自身的处理效率；

分片机根据自身处理效率向redis申请相对应的分片数据。

6.根据权利要求4所述的千万级数据分片处理方法，其特征在于，所述分片机的处理效率表示为：

分片数据(x)＝n*cpu，其中，x表示分片域数据大小，n表示单cpu批处理大小，cpu表示cpu核数；

所述分片机根据自身处理效率向redis申请相对应的分片数据具体包括：分片机主动向redis申请incr(x)，其中，incr(x)代表的是每个分片机单批处理的分片数据大小。

7.根据权利要求1所述的千万级数据分片处理方法，其特征在于，所述将每一台分片机申请所得的数据分为多个线程并行处理具体包括：

分片机获得单批数据域后对该批次数据在redis中做标记，然后依次多线程向业务Service节点分发；

该批处理完后清除标记，开始抢占下一批分片域。

8.根据权利要求7所述的千万级数据分片处理方法，其特征在于，每一台分片机所分的线程数根据cpu计算，计算公式默认为：cpu密集型线程＝cpu核数+1。

9.根据权利要求4所述的千万级数据分片处理方法，其特征在于，所述最后一台处理完的分片机进行后置处理工作具体包括：

通过zk临时节点数量与redis处理完毕数量做比较，判断是否为最后一台处理完的分片机，若是，称之为后置机；

后置机检测本次处理的完整性并进行统计以及通知；

整个任务结束，后置机释放任务锁。

10.一种千万级数据分片处理装置，其特征在于：

包括至少一个处理器和存储器，所述至少一个处理器和存储器之间通过数据总线连接，所述存储器存储能被所述至少一个处理器执行的指令，所述指令在被所述处理器执行后，用于完成权利要求1-9中任一项所述的千万级数据分片处理方法。