[发明专利]一种千万级数据分片处理方法和装置

说明书

本发明涉及一种千万级数据分片处理方法和装置。其方法部分主要包括：将分片机计算功能和业务处理功能解耦，并由分片机主动进行分片数据抢占任务；分片机根据自身性能实时申请分片数据；将每一台分片机申请所得的数据分为多个线程并行处理；最后一台处理完的分片机进行后置处理工作。本发明可以在不影响业务Service节点的情况下通过扩容分片机集群来大幅提高处理效率，且分片方法与业务解耦，在某些业务节点宕机时仍可保证数据正常处理。

【技术领域】

本发明涉及大数据处理时的分片算法技术领域，特别是涉及一种千万级数据分片处理方法和装置。

【背景技术】

早期的软件系统大部分是服务于公司内部业务需求，系统使用者也大多是公司内部人员在操作，传统的软件架构也基本能满足日常需求。但随着公司规模的不断扩大，软件的开发逐渐由统一集成开始往微服务方向发展，部署方式也由单一节点转变为多节点集群模式，这样除了带来系统的复杂度，同时随时间的推进也会产生越来越多的数据量。

随着近几年互联网的快速发展，实现信息互通后，对于软件系统的功能要求以及处理能力要求越来越高。尤其在很多互联网公司，从传统的企业服务逐步转向为个人服务，这样客户的数量基本成几何倍数增长，同时带来对客户数据的维护也会逐日递增。由于是面向客户服务，一旦系统问题导致数据错误或服务体验感差，影响的用户群体范围大，进而可能引发大量的客户投诉，甚至会流失大量的客户群体，给企业带来的名誉以及经济损失不可估量。

由于客户流量的不断增大，对应的服务系统表数据量很容易就达到千万级甚至上亿级。在处理海量数据时(如给1000万用户推送服务信息)，业界目前处理方式通常采用分片调度模式，调度作业由Job机制触发，请求分别下发到所有业务Service(服务)节点的服务器，下发请求时针对不同服务器分配不同的分片参数，每个业务Service节点的服务器在拿到分片参数时，去查询自己所需要处理的分片域数据，进而在本节点服务器处理。此方式下的分片处理与业务强耦合，处理效率只能依靠扩充业务Service节点数来提高，一旦某个业务Service节点宕机后，该节点处理的数据也将全部丢失。

综上所述，现有技术主要存在以下三个弊端：

1)针对海量数据处理，业界目前都是通过Job服务进行调度处理，业务Service节点用分布式集群部署，所有的业务Service节点在收到Job发送的请求后(带分片参数)，即已经确定每个业务Service节点处理的数据范围，然后每个业务Service节点独立处理自己的数据，一旦中途处理过程中某个业务Service节点出现宕机，该业务Service节点所处理的数据将全部丢失。

2)每个业务Service节点在接收到Job发送的请求后,拿到的分片域数据基本是平均的，但每个业务Service节点的服务器之间可能存在着性能的差异，性能高的业务Service节点的服务会提前处理完自己节点的数据，性能低的会消耗较长的时间才能处理完自己节点的数据，这样也会导致资源处理分配不均的问题。

3)由于分片逻辑是在每个业务Service节点代码中，如果要提高处理效率，只能依靠横向扩容业务Service节点来提高整体处理能力，这样可能会因部分低频但又很重要的业务(高负载)和日常业务(一般负载)使用的资源负载出现无法均衡的问题。

鉴于此，如何克服现有技术所存在的缺陷，解决上述技术问题，是本技术领域待解决的难题。

【发明内容】

针对现有技术的以上缺陷或改进需求，本发明提供一种千万级数据分片处理方法和装置，在不影响业务Service节点的情况下通过扩容分片机集群来大幅提高处理效率，分片方法与业务解耦，在某些业务Service节点宕机时仍可保证数据正常处理。

本发明实施例采用如下技术方案：

第一方面，本发明提供了一种千万级数据分片处理方法，包括：